OnPremise LLM을 Langchain으로 연결하기 (feat. Solar)

안녕하세여!!

 

지난 포스팅을 통해서 Huggingface를 통해 다운받은 Solar 모델을 구현시키는 방법을 알아보았습니다

 

2024.06.13 - [데이터&AI/LLM] - Solar 오픈소스 모델 활용해서 ON-premise LLM 만들기

Solar 오픈소스 모델 활용해서 ON-premise LLM 만들기

 

 

이번포스팅에서는 해당 모델을 langchain 기반으로 가동시키는 작업을 진행해 보겠습니다!!

코드가 아주 간단한데요!!

from langchain.llms import HuggingFacePipeline
from transformers import pipeline

###
tokenizer = AutoTokenizer.from_pretrained("Upstage/SOLAR-10.7B-Instruct-v1.0")
model = AutoModelForCausalLM.from_pretrained(
    "Upstage/SOLAR-10.7B-Instruct-v1.0",
    device_map="auto",
    torch_dtype=torch.float16,
)
pipe = pipeline(
    "text-generation",
    model=model, 
    tokenizer=tokenizer,
    max_new_tokens=1028,  
)
llm = HuggingFacePipeline(pipeline=pipe)

 

위와 같이 다운 받은 모델을 기반으로 

지난번과 동일하게 tokenizer / model을 만들어주고!!

 

"HuggingFacePipeline(pipeline=pipe) " 

 

로 진행하면 끝!!!!!! 입니다!!

 

 

그다음은 기존  langchain 사용방식 그대로 사용하면 되지요~~

 

res = llm.invoke("tell me about the biggest country in the world")
print(res)

 

 

 

아주 멋지게 답변해줍니다~~

이제 경우에 따라 langchain으로 gpt / llama / Onpremise 모델들을 섞어서 사용 가능하겠지요~?^^

 

 

감사합니다

 

ㅁ 참고 : https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/