llm서빙모델1 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All) 안녕하세요!!제 포스팅에서는 그동안 오픈소스 llm을 크게 2가지 방법으로 시도해보았었습니다~~ 1. 직접 huggingface에서 모델 다운받아 실행하기2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom)airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하drfirst.tistory.com 2. llm 서빙모델 (ollama, ll.. 2024. 6. 25. 이전 1 다음
