728x90 오픈소스llm2 LLM모델의 양자화!!(Quantization): GPTQ 및 AWQ 방식 알아보 오늘의 글 3줄요약!!양자화는 모델을 압축한다!!단순히 모델 다운받아 사용할거면 GPTQ가 완벽!!메모리를 아끼며 학습시키려면!! AWQ를 쓰자!! OpenAI의 GPT가 LLM 모델의 대표가 되어가고있지만,이는 유로상업 모델로 그 구조가 공개되어있지 않습니다!! 하지만!! Meta의 llama를 필두로해서 여러 오픈소스 모델이 공개되고있는데요!!이런 오픈소스 모델은 엄청 큰!! 메모리와 계산 자원을 요구합니다. 이를 해결하기 위한 방법 중 하나가 양자화(Quantization)입니다.쉽게 말해 LLM 모델을 압축한다고 이해하면 되겠죄~~?원래 양자화란 아날로그 신호를 binary 한 양자(전자는 1에서 1.5 가 없이 바로 2로가죠!?)신호로 바꾸는데서 유래되었는데요!! 오늘은 LLM모델의 양자화에 .. 2024. 10. 7. llm 모델에서 GGUF가 무엇인지 알아보자!! (feat. bllossom 모델을 gguf로 바꿔보기!) GGUF란 ?? > 쉽게 : llm 모델계의 docker !!> 정식 설명 : GGUF(Georgi Gerganov Unified Format)는 딥러닝 모델을 효율적으로 저장하고 배포하기 위한 새로운 파일 형식 made by Georgi Gerganov> 필요한 이유는? 기존의 모델 저장 방식들은 특정 프레임워크나 라이브러리에 종속되어 호환성이 떨어지는 문제가 있음, GGUF는 이러한 문제를 해결하고자 탄생!!!> 파일구조 GGUF의 장점은!?1. 뛰어난 호환성: GGUF는 특정 프레임워크나 라이브러리에 종속않음!! (도커같죠?ㅎㅎ) 이에,. PyTorch, TensorFlow 등 여러 프레임워크.. 2024. 6. 29. 이전 1 다음 728x90
