본문 바로가기
데이터&AI/LLM

[HyperCLOVA] 문장을 벡터로 임베딩하기 (with Python)

by 일등박사 2024. 5. 23.

2024.02.13 - [데이터&AI/langchain] - [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada)

 

[langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada)

많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하

drfirst.tistory.com

 

예전 포스팅에서 OpenAI의 API를 통하여 문장을 임베딩을 진행해보았는데요!!

 

이번에는 네이버 HyperCLOVA를 이용하여 문장을 임베딩시켜보겠습니다!!

 

1. 우선 클로버스튜디오에서 임베딩을 위한 키를 발급받습니다!!

2. 발급받은 키를 저장합니다!!

 

 

3. 해당 키를 바탕으로 아래와 같이 파이썬에서 API를 호출합니다!

이번에닌 "임베딩을 실행합니다" 의 벡터값을 보려고합니다!

import requests

url = "https://clovastudio.apigw.ntruss.com/testapp/v1/api-tools/embedding/clir-emb-dolphin/{발급받은 URL}"

headers = {
    "X-NCP-CLOVASTUDIO-API-KEY": "{발급받은키입력}",
    "X-NCP-APIGW-API-KEY": "{발급받은키입력}",
    "X-NCP-CLOVASTUDIO-REQUEST-ID": "{발급받은값}",
    "Content-Type": "application/json"
}

data = {
    "text": "임베딩을 실행합니다"
}

response = requests.post(url, headers=headers, json=data)

print(response.status_code)
print(response.json())

 

 

4. 최종결과!! 

결과는, 1024개의 값으로 이루어진 벡터입니다!!

 

결과값을 기존과 동일하게 chroma, FAISS 등을 활용하여 적재도 시도해보세요~~

2024.02.03 - [데이터&AI/langchain] - [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS)

 

[langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS)

사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Ve

drfirst.tistory.com

 

댓글