728x90 전체 글461 RMSNorm과 Layer Normalization 비교하기 오늘의 주제 요약!! LN은 합창단의 각 파트가 아름다운 화음을 만들도록 돕는 합창 지휘자라면, RMSNorm은 오케스트라 전체의 연주를 조율하여 감동적인 교향곡을 완성하는 오케스트라 지휘자와 같다!! 1. Layer Normalization - 신경망의 각 층에서 입력 데이터의 정규화를 수행하는 방법 - 합창단의 각 파트별 음량을 조절하는 것과 같음!! 소프라노, 알토, 테너, 베이스 각 파트의 음량이 너무 크거나 작으면 전체적인 화음이 깨지게 되기에 LN은 각 파트의 음량을 적절히 조절하여 전체적인 화음을 아름답게 만드는 역할을 함 입력 데이터:입력 데이터 𝑥=[𝑥1,𝑥2,...,𝑥𝑑] 의 𝑑차원 벡터. 평균 계산: 각 샘플의 평균을 계산3. 분산 계산:샘플의 분산을 계산4. 정규화: .. 2024. 6. 28. Qwen2 + langchain. On-premise모델을 langchain으로 사용하기! 2024.06.23 - [데이터&AI/LLM] - qwen2 모델 톺아보기 (feat. llama3 모델과의 비교!) qwen2 모델 톺아보기 (feat. llama3 모델과의 비교!)2024.06.23 - [데이터&AI/LLM] - 알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력) 알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력)여러가지 오픈소스 모델들을 알아보고있었drfirst.tistory.com 지난 포스팅에서 Qwen2의 모델을 살펴보고, huggingface에서 모델을 다운받아 로드해보고,llama모델과 비교해보았었는데요!!오늘은 이 qwen2 모델을 AutoModelForCausalLM 기반으로, 또 langchain 기반으로 실행해 보겠습니.. 2024. 6. 27. 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All) 안녕하세요!!제 포스팅에서는 그동안 오픈소스 llm을 크게 2가지 방법으로 시도해보았었습니다~~ 1. 직접 huggingface에서 모델 다운받아 실행하기2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom)airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하drfirst.tistory.com 2. llm 서빙모델 (ollama, ll.. 2024. 6. 25. qwen2 모델 톺아보기 (feat. llama3 모델과의 비교!) 2024.06.23 - [데이터&AI/LLM] - 알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력) 알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력)여러가지 오픈소스 모델들을 알아보고있었습니다.2024.05.29 - [데이터&AI/LLM] - 내 서버에서 llama3 실행하기!! (feat. ollama) 내 서버에서 llama3 실행하기!! (feat. ollama)이전 포스팅에서 ollama를 활용하여 ldrfirst.tistory.com 오늘은 지난번 사용해 보았던 qwen2 모델을 llama3모델과 비교하여 분석해보겠습니다~~ 1. Qwen2 모델 구조 확인하기from transformers import AutoModelForCausalLM, .. 2024. 6. 24. 알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력) 여러가지 오픈소스 모델들을 알아보고있었습니다.2024.05.29 - [데이터&AI/LLM] - 내 서버에서 llama3 실행하기!! (feat. ollama) 내 서버에서 llama3 실행하기!! (feat. ollama)이전 포스팅에서 ollama를 활용하여 llama2-uncencored 모댈을 활용해보았고,airllm을 활용하여 llama3 모델을 활용해보았는데요!! 이번에는 ollama를 활용하여 llama3를 사용해보겠습니다!! 1. ollama 실행!! -drfirst.tistory.com2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bl.. 2024. 6. 23. 우분투 서버에서 GPU 세팅하기 (nvidia-smi > cuda 비상입니다.잘되던 GPU 서버가 이것저것 환경을 건드리다 먹통이되었어요,,,GPU가 작동하지 않습니다!ㅠㅠ 처음부터 해결방법을 알아보아요!! 1. nvidia-smi설치하기! 이에 ubuntu-drivers devices 를 실행해보고!!bongo@sotalk201:~/Downloads$ ubuntu-drivers devices== /sys/devices/pci0000:3c/0000:3c:01.0/0000:3d:00.0 ==modalias : pci:v000010DEd00002204sv000010DEsd00001454bc03sc00i00vendor : NVIDIA Corporationmodel : GA102 [GeForce RTX 3090]driver : nvidia-driver-535-s.. 2024. 6. 23. 이전 1 2 3 4 5 6 ··· 77 다음 728x90
