llama3.2 체험하기 (feat. ollama) + 한국어는,, 언제쯤?!
2024년 9월 25일!! 메타에서는 llama3.2모델을 공개했습니다!! 이번 모델의 주요 특징 요약!!!! 1. 모바일 및 엣지 디바이스에 적합한 소형(1B, 3B) 및 중형 비전 모델(11B, 90B)로 구분!!2. 128K 토큰까지 지원하며 Qualcomm, MediaTek, ARM 하드웨어에서 사용 가능!!3. Claude 3와 같은 폐쇄형 모델보다 이미지 이해 작업에서 더 나은 성능이라고하고!!4. 여러 플랫폼 파트너 (including AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake) 에서도 사용 가능하다고 했습니다!! 점점 이런 모델 덕분에 소형..
2024. 10. 11.
vllm 설치하고 오픈소스 모델을 openai 모듈로 써보기!(feat. 알리바바의 qwen2.5 예시!!)
2024.06.23 - [데이터&AI/LLM] - 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All) 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All)안녕하세요!!제 포스팅에서는 그동안 오픈소스 llm을 크게 2가지 방법으로 시도해보았었습니다~~ 1. 직접 huggingface에서 모델 다운받아 실행하기2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premisdrfirst.tistory.com 지난 포스팅에서 여러 llm 서빙 모델에 대하여 알아보았는데요!!오늘은 이 중 하나인 vllm..
2024. 10. 8.
