본문 바로가기
728x90

openai44

[OpenAI] GPT-3.5-turbo 가격인하!! (24.2.16~) 안녕하세요!! OpenAI에서 GPT3.5 모델에 대한 업데이트와 가격인하 공지가 되었습니다!!!! 해당 내용을 알아보아요~!^^ 새로운 GPT-3.5 Turbo 모델 출시 및 가격 인하 안내 - 2월 초 OpenAI는 최신 GPT-3.5 Turbo 모델인 gpt-3.5-turbo-0125를 출시 - 새로운 모델의 입력 가격은 1K 토큰당 50% 감소하여 $0.0005, 출력 가격은 25% 감소하여 $0.0015 - 기존 가격은 입력 $0.001, 출력 $0.002 ) (만약 현재 사용 중인 코드에 gpt-3.5-turbo 또는 gpt-3.5-turbo-16k (고정된 모델 별칭)을 지정하고 있다면, 2024년 2월 16일 금요일에 gpt-3.5-turbo-0125 모델로 자동 업데이트되며 새로운 저렴한.. 2024. 2. 16.
[langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) 많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하는데요!! 그런데,, 조금더 큰 dimension (1536, 허깅페이스는768) 에서 분석을 하고싶다 신뢰할 수 있는 모델을 사용하고싶다 검증된 서비스로 사용하고싶다!! 나는 유료의 안정적인 서비스가 필요하다. 혹은,, 나는 돈이 너무 많다~! 허깅페이스가 싫다 등등 의 사유로 유로 embedding모델을 사용하고 싶을 수 있.. 2024. 2. 13.
[langchain공부]Retriever의 고급기법 (feat. Ensemble, bm5,Sparse, dense) 1. Retriever 종류: Sparse Retriever vs Dense Retriever 1. 개념 Retriever는 대규모 텍스트 데이터에서 질의와 관련된 정보를 검색하는 데 사용되는 모델 2가지로 구분 2. Sparse Retriever : 텍스트 데이터를 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 문서 검색 >> TF-IDF와 같은 기법으로 텍스트 데이터를 벡터화 진행 장점: 효율적인 메모리 사용 빠른 검색 속도 높은 확장성 질문과 같은 단어만 선택!!!! 단점: 낮은 정확도 (but 같은 직접적 단어만 고를떄는 좋다) 의미론적 정보 손실 3. Dense Retriever : 텍스트 데이터를 임베딩 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 관련 문서 검색 >> BE.. 2024. 2. 10.
[langchain공부] langchain 핵심 - 1 (체인 만들기) langchain의 핵심~!!!! 이름 그대로 chain을 만들어봅시다!! 그런데!!! 왜 체인이 필요할까요!!?? GPT를 활용, 연결되고 연결되는 결과물을 얻기 위해서입니다!! 예를들어!! 여러분은 한 연극의 제목에 대한 비평문이 필요한 상태입니다! 그렇가면, GPT를 활용하여 1. 제목기반의 시놉시스 작성 2. 시놉시스 기반의 비평문 작성 의 절차를 걸쳐야 겠지요!? 위 과정을 langchain 을 활용한다면 깔끔하고 이쁘게 만들수 있습니다!! 연극의 시놉시스의 비평문이 필요한 상태입니다! 함께 시작해보아요!! 우선 언제나 그렇듯 키와 패키지를 임포트해줍니다 from langchain.prompts import PromptTemplate from langchain.chat_models import .. 2024. 2. 3.
728x90