본문 바로가기
728x90

Python84

[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기3 (feat. similarity, mmr, similarity_score_threshold,hybrid) 지난 포스팅 까지 RetrievalQA를 활용하여 긴 문서에서 답변찾기 실습, 2024.02.06 - [일등박사의 생각/데이터&AI] - [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! Retriever를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 drfirst.tistory.com 답변 찾는 방식의 체인 타입(C.. 2024. 2. 8.
[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! RetrievalQA를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 검색하여 추출하고싶을때!! 사용하는것인데요~! 오늘의 실습은 로블록스 하는법!! 의 웹사이트를 대상으로 진행해보겠습니다~!! https://www.androidpolice.com/roblox-beginners-guide/ Roblox beginner's guide: How to get started exploring and creating Curious about how to get started with Roblox? Here's a handy guide to get.. 2024. 2. 6.
[langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Vectore Store)다! > Pure Vector database : Vector형태의 값만 저장이 가능하다!! (추천) - 업데이트 삭제 이동등 DB와 유사한 기능 >> Pinecone, Qdrant , Weaviate: 유료, 다앵한기능 >> Chrome : 무료, 오픈소수!! > Vector Libraries : - Vector 유사도를 계산하는 대 특화된 툴 / DB로서의 기능이 적어 유지보수가 잘 안댄다 >> FAISS : 벡터 저장, 벡터 유사도 구하기등, M.. 2024. 2. 5.
Dart에서 기업 사업보고서 공시 수집하기 (feat .Python) 1. 필요한 라이브러리 설치: pip install dart-fss 2. 패키지 임포트 import dart_fss as dart import pandas as pd import requests import xml.etree.ElementTree as ET import zipfile import io from bs4 import BeautifulSoup api_key = '{내 api key}' dart.set_api_key(api_key=api_key) 3. 상장 기업명 크롤링 # 상장 기업명 크롤링 corp_list = dart.api.filings.get_corp_code() corp_df = pd.DataFrame.from_dict(corp_list) corp_df = corp_df.dropna(.. 2024. 2. 5.
728x90

티스토리툴바