본문 바로가기
728x90

주제495

내 컴퓨터에서 llm으로 이미지를 분석해 보쟈! (feat. qwen2-VL) qwen2의 모델들 맛보기를 계속하고있습니다!!^^2024.10.03 - [데이터&AI/LLM] - 네가 그렇게 수학을 잘하니? Qwen2.5-Math (feat. 오픈소스 LLM) 네가 그렇게 수학을 잘하니? Qwen2.5-Math (feat. 오픈소스 LLM)Qwen 2.5 Math: 알리바바가 개발한 새로운 AI 수학 모델 소개 (24년 10월!!)최근 AI 기술의 발전과 함께, 수학 문제 해결을 위한 특화된 모델들이 속속 등장하고 있는데요~~~알리바바 그룹의 AI 연구 부서drfirst.tistory.com오늘은 이미지 분석 모델인 qwen2-VL에 대하여 알아보겠습니다!!https://github.com/QwenLM/Qwen2-VL?tab=readme-ov-file GitHub - QwenLM/.. 2024. 10. 10.
vllm 설치하고 오픈소스 모델을 openai 모듈로 써보기!(feat. 알리바바의 qwen2.5 예시!!) 2024.06.23 - [데이터&AI/LLM] - 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All) 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All)안녕하세요!!제 포스팅에서는 그동안 오픈소스 llm을 크게 2가지 방법으로 시도해보았었습니다~~ 1. 직접 huggingface에서 모델 다운받아 실행하기2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premisdrfirst.tistory.com 지난 포스팅에서 여러 llm 서빙 모델에 대하여 알아보았는데요!!오늘은 이 중 하나인 vllm.. 2024. 10. 8.
LLM모델의 양자화!!(Quantization): GPTQ 및 AWQ 방식 알아보 오늘의 글 3줄요약!!양자화는 모델을 압축한다!!단순히 모델 다운받아 사용할거면 GPTQ가 완벽!!메모리를 아끼며 학습시키려면!! AWQ를 쓰자!! OpenAI의 GPT가 LLM 모델의 대표가 되어가고있지만,이는 유로상업 모델로 그 구조가 공개되어있지 않습니다!! 하지만!! Meta의 llama를 필두로해서 여러 오픈소스 모델이 공개되고있는데요!!이런 오픈소스 모델은 엄청 큰!! 메모리와 계산 자원을 요구합니다. 이를 해결하기 위한 방법 중 하나가 양자화(Quantization)입니다.쉽게 말해 LLM 모델을 압축한다고 이해하면 되겠죄~~?원래 양자화란 아날로그 신호를 binary 한 양자(전자는 1에서 1.5 가 없이 바로 2로가죠!?)신호로 바꾸는데서 유래되었는데요!!  오늘은 LLM모델의 양자화에 .. 2024. 10. 7.
Qwen2.5를 사용해보기!!! (feat 한국어실력 확인!! qwen2와의 비교 ) 2024.10.03 - [데이터&AI/LLM] - 네가 그렇게 수학을 잘하니? Qwen2.5-Math (feat. 오픈소스 LLM) 네가 그렇게 수학을 잘하니? Qwen2.5-Math (feat. 오픈소스 LLM)Qwen 2.5 Math: 알리바바가 개발한 새로운 AI 수학 모델 소개 (24년 10월!!)최근 AI 기술의 발전과 함께, 수학 문제 해결을 위한 특화된 모델들이 속속 등장하고 있는데요~~~알리바바 그룹의 AI 연구 부서drfirst.tistory.com 지난 포스팅에서 qwen2.5-math 모델의 수학실력을 알아보았었는데요!!오늘은 qwen2.5 오리지날 모델을 사용해보고, 한국어 능력도 테스트해보겠습니다! 2024.06.23 - [데이터&AI/LLM] - 알리바바의 llm 모델 qwen2.. 2024. 10. 6.
728x90

티스토리툴바