728x90 BM51 [langchain공부]Retriever의 고급기법 (feat. Ensemble, bm5,Sparse, dense) 1. Retriever 종류: Sparse Retriever vs Dense Retriever 1. 개념 Retriever는 대규모 텍스트 데이터에서 질의와 관련된 정보를 검색하는 데 사용되는 모델 2가지로 구분 2. Sparse Retriever : 텍스트 데이터를 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 문서 검색 >> TF-IDF와 같은 기법으로 텍스트 데이터를 벡터화 진행 장점: 효율적인 메모리 사용 빠른 검색 속도 높은 확장성 질문과 같은 단어만 선택!!!! 단점: 낮은 정확도 (but 같은 직접적 단어만 고를떄는 좋다) 의미론적 정보 손실 3. Dense Retriever : 텍스트 데이터를 임베딩 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 관련 문서 검색 >> BE.. 2024. 2. 10. 이전 1 다음 728x90
