728x90 chroma3 [langchain공부] embedding된 Vector를 mongoDB에 저장하기 2024.02.05 - [데이터&AI/langchain] - [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Ve drfirst.tistory.com 지난 포스팅들을 통해서 embedding된 vectore들을 chroma, FAISS 등의 벡터 저장소에 저장하는 과정을 진행해보았는데요!! 이번 포스팅에선느 NoSQL의 선.. 2024. 3. 5. [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) 많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하는데요!! 그런데,, 조금더 큰 dimension (1536, 허깅페이스는768) 에서 분석을 하고싶다 신뢰할 수 있는 모델을 사용하고싶다 검증된 서비스로 사용하고싶다!! 나는 유료의 안정적인 서비스가 필요하다. 혹은,, 나는 돈이 너무 많다~! 허깅페이스가 싫다 등등 의 사유로 유로 embedding모델을 사용하고 싶을 수 있.. 2024. 2. 13. [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Vectore Store)다! > Pure Vector database : Vector형태의 값만 저장이 가능하다!! (추천) - 업데이트 삭제 이동등 DB와 유사한 기능 >> Pinecone, Qdrant , Weaviate: 유료, 다앵한기능 >> Chrome : 무료, 오픈소수!! > Vector Libraries : - Vector 유사도를 계산하는 대 특화된 툴 / DB로서의 기능이 적어 유지보수가 잘 안댄다 >> FAISS : 벡터 저장, 벡터 유사도 구하기등, M.. 2024. 2. 5. 이전 1 다음 728x90
