Retriever2 [langchain공부]Retriever의 고급기법 (feat. Ensemble, bm5,Sparse, dense) 1. Retriever 종류: Sparse Retriever vs Dense Retriever 1. 개념 Retriever는 대규모 텍스트 데이터에서 질의와 관련된 정보를 검색하는 데 사용되는 모델 2가지로 구분 2. Sparse Retriever : 텍스트 데이터를 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 문서 검색 >> TF-IDF와 같은 기법으로 텍스트 데이터를 벡터화 진행 장점: 효율적인 메모리 사용 빠른 검색 속도 높은 확장성 질문과 같은 단어만 선택!!!! 단점: 낮은 정확도 (but 같은 직접적 단어만 고를떄는 좋다) 의미론적 정보 손실 3. Dense Retriever : 텍스트 데이터를 임베딩 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 관련 문서 검색 >> BE.. 2024. 2. 10. [langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! RetrievalQA를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 검색하여 추출하고싶을때!! 사용하는것인데요~! 오늘의 실습은 로블록스 하는법!! 의 웹사이트를 대상으로 진행해보겠습니다~!! https://www.androidpolice.com/roblox-beginners-guide/ Roblox beginner's guide: How to get started exploring and creating Curious about how to get started with Roblox? Here's a handy guide to get.. 2024. 2. 6. 이전 1 다음
