gpt시간단축1 LangChain 캐싱: GPT비용을 줄이고 속도는 높이기!!(feat python) GPT한태 똑같은 질문을 여러사람이 여러번 할수 있지 않을까요?? 그런데 그때마다 GPT API를 호출한다면??매번 GPT 답변받느라 속도도 느려지고, API를 계속 호출하느라 비용도 비싸겠찌요? 이를 대비해서!!LangChain의 caching 기능을 사용하면됩니다!!. 캐싱이란 무엇인가요?캐싱은 이전에 계산된 결과를 저장해두고, 동일한 입력이 들어왔을 때 다시 계산하지 않고 저장된 결과를 재사용하는 기술입니다. LangChain에서 캐싱은 LLM 호출 결과를 저장하고, 동일한 프롬프트에 대해서는 LLM을 다시 호출하지 않고 캐시된 결과를 반환합니다.LangChain 캐싱 사용 방법LangChain의 캐싱은 크게 2가지 방법으로 사용 가능합니다!! 방법1. 메모리캐시 사용from langchain... 2024. 5. 28. 이전 1 다음
