728x90 API24 llama3 의 모델을 api로 호출하기!! (feat. ollama, python, embedding) 지난 포스팅에서는!! ollama로 올라간 llama를shell 환경에서 진행해보았는데요!!2024.05.29 - [데이터&AI/LLM] - 내 서버에서 llama3 실행하기!! (feat. ollama) 내 서버에서 llama3 실행하기!! (feat. ollama)이전 포스팅에서 ollama를 활용하여 llama2-uncencored 모댈을 활용해보았고,airllm을 활용하여 llama3 모델을 활용해보았는데요!! 이번에는 ollama를 활용하여 llama3를 사용해보겠습니다!! 1. ollama 실행!! -drfirst.tistory.com 이번에는 API를 호출하는 방법으로 해당 모델을 사용해보겠습니다!! 1. ollama모델 구동 - 기존과 동일하게, 서버에서 ollama를 우선 구동시킵니다.. 2024. 6. 1. LangChain 캐싱: GPT비용을 줄이고 속도는 높이기!!(feat python) GPT한태 똑같은 질문을 여러사람이 여러번 할수 있지 않을까요?? 그런데 그때마다 GPT API를 호출한다면??매번 GPT 답변받느라 속도도 느려지고, API를 계속 호출하느라 비용도 비싸겠찌요? 이를 대비해서!!LangChain의 caching 기능을 사용하면됩니다!!. 캐싱이란 무엇인가요?캐싱은 이전에 계산된 결과를 저장해두고, 동일한 입력이 들어왔을 때 다시 계산하지 않고 저장된 결과를 재사용하는 기술입니다. LangChain에서 캐싱은 LLM 호출 결과를 저장하고, 동일한 프롬프트에 대해서는 LLM을 다시 호출하지 않고 캐시된 결과를 반환합니다.LangChain 캐싱 사용 방법LangChain의 캐싱은 크게 2가지 방법으로 사용 가능합니다!! 방법1. 메모리캐시 사용from langchain... 2024. 5. 28. [OpenAI] GPT-3.5-turbo 가격인하!! (24.2.16~) 안녕하세요!! OpenAI에서 GPT3.5 모델에 대한 업데이트와 가격인하 공지가 되었습니다!!!! 해당 내용을 알아보아요~!^^ 새로운 GPT-3.5 Turbo 모델 출시 및 가격 인하 안내 - 2월 초 OpenAI는 최신 GPT-3.5 Turbo 모델인 gpt-3.5-turbo-0125를 출시 - 새로운 모델의 입력 가격은 1K 토큰당 50% 감소하여 $0.0005, 출력 가격은 25% 감소하여 $0.0015 - 기존 가격은 입력 $0.001, 출력 $0.002 ) (만약 현재 사용 중인 코드에 gpt-3.5-turbo 또는 gpt-3.5-turbo-16k (고정된 모델 별칭)을 지정하고 있다면, 2024년 2월 16일 금요일에 gpt-3.5-turbo-0125 모델로 자동 업데이트되며 새로운 저렴한.. 2024. 2. 16. [langchain공부] ConversationBufferMemory (과거 프롬포트 내용 기억하기!!) 2023.03.05 - [일등박사의 생각/데이터&AI] - python API를 활용한 chatgpt- 과거내용 기억하기 python API를 활용한 chatgpt- 과거내용 기억하기 안녕하세요~!!! 파이썬 API를 활용하여 새로나온 chatgpt(gpt-3.5-turbo) 를 활용하는 법을 알아보았는데요!! 2023.03.04 - [일등박사의 생각/데이터분석] - OpenAI의 ChatGPT를 파이썬 API로 이용하기(gpt-3.5-turbo) drfirst.tistory.com GPT api를 활용할때, 과거 내용기억하기는 정말 중요한 요소입니다!! 그래서 계속 프롬포트를 이어나가는 원시적인 방법을 포스팅하기도 했었는데요!! langchain의 ConversationBufferMemory 기능을 사.. 2024. 2. 2. 이전 1 2 3 4 5 6 다음 728x90
