내 서버에서 llama3 실행하기!! (feat. ollama)

 

 

이전 포스팅에서 ollama를 활용하여 llama2-uncencored 모댈을 활용해보았고,

airllm을 활용하여 llama3 모델을 활용해보았는데요!!

 

이번에는 ollama를 활용하여 llama3를 사용해보겠습니다!!

 

1. ollama 실행!!

 - 우선 기존에 설치괸 ollama를 background 에서 실행합니다!!~

OLLAMA_MODELS={모델의 위치} ollama serve

 

2. llama3모델 다운!! 

ollama에서 지원하는 모델이 많아젔습니다! 그중 llama3가 있지요~~

ollama run llama3

run 을 해주었을때, 해당 디렉토리에 모델이 없다면 자동으로 다운로드를 진행합니다!

 

 > 참고 : https://github.com/ollama/ollama

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

3. llama3모델 사용! 

이제, 모델 사용이 가능합니다!! 참 쉽죠!?^^