728x90 ADA6 [HyperCLOVA] 문장을 벡터로 임베딩하기 (with Python) 2024.02.13 - [데이터&AI/langchain] - [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada)많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하drfirst.tistory.com 예전 포스팅에서 OpenAI의 API를 통하여 문장을 임베딩.. 2024. 5. 23. OpenAI !! 새로운 text 임베딩 모델 출시 (text-embedding-3) OpenAI에서 저렴한 가격의 새로운 텍스트 임베딩 모델이 출시되어 소개포스팅을 작성하고자합니다! 1. text-embedding-3-small : 작고 효율적인모델 새로운 text-embedding-3-small 모델 : 2022년 12월 출시된 text-embedding-ada-002 모델보다 성능이 크게 향상된 작고 효율적인 텍스트 임베딩 모델 더 강력한 성능: 다국어 검색 벤치마크(MIRACL)에서는 평균 점수가 31.4%에서 44.0%로, 영어 작업 벤치마크(MTEB)에서는 평균 점수가 61.0%에서 62.3%로 증가 더 저렴한 가격: 이전 모델인 text-embedding-ada-002에 비해 5배 저렴한 가격(1,000 토큰당 $0.00002)으로 제공 * 이전 모델인 text-embeddi.. 2024. 2. 17. [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) 많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하는데요!! 그런데,, 조금더 큰 dimension (1536, 허깅페이스는768) 에서 분석을 하고싶다 신뢰할 수 있는 모델을 사용하고싶다 검증된 서비스로 사용하고싶다!! 나는 유료의 안정적인 서비스가 필요하다. 혹은,, 나는 돈이 너무 많다~! 허깅페이스가 싫다 등등 의 사유로 유로 embedding모델을 사용하고 싶을 수 있.. 2024. 2. 13. [PYTHON] openai의 gpt api를 활용하여 적은 데이터로 중요도 점수 모델 만들기 안녕하세요!!! 지난 포스팅에서 openai의 gpt api를 활용하여 문장 클러스터링 하는 방법을배워보았습니다! 2023.03.05 - [일등박사의 생각/데이터분석] - [PYTHON] openai의 gpt api를 활용하여 문장 클러스터링 하기 이번에는, 클러스터링을 넘어 나만의 텍스트 중요도 모델을 만들어보겠습니다!! 1. 모듈 임포트 및 선언 - 우선 openai의 api키 와 패키지들을 불러옵니다. - 추가로 앞으로 대화내용을 지속 저장할 신규변수(conversation_history)를 만들어줍니다. import pandas as pd import numpy as np from openai.embeddings_utils import get_embedding from openai.embeddin.. 2023. 3. 6. 이전 1 2 다음 728x90
