본문 바로가기

전체 글465

[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기3 (feat. similarity, mmr, similarity_score_threshold,hybrid) 지난 포스팅 까지 RetrievalQA를 활용하여 긴 문서에서 답변찾기 실습, 2024.02.06 - [일등박사의 생각/데이터&AI] - [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! Retriever를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 drfirst.tistory.com 답변 찾는 방식의 체인 타입(C.. 2024. 2. 8.
[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기2 (feat. stuff, map_reduce, refine, map_rerank) 지난 포스팅에서 RetrievalQA 함수 사용하는 방법을 알아보았습니다!! 2024.02.06 - [일등박사의 생각/데이터&AI] - [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! Retriever를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 drfirst.tistory.com 그런데!! 이 중 chain ty.. 2024. 2. 7.
[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! RetrievalQA를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 검색하여 추출하고싶을때!! 사용하는것인데요~! 오늘의 실습은 로블록스 하는법!! 의 웹사이트를 대상으로 진행해보겠습니다~!! https://www.androidpolice.com/roblox-beginners-guide/ Roblox beginner's guide: How to get started exploring and creating Curious about how to get started with Roblox? Here's a handy guide to get.. 2024. 2. 6.
[langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Vectore Store)다! > Pure Vector database : Vector형태의 값만 저장이 가능하다!! (추천) - 업데이트 삭제 이동등 DB와 유사한 기능 >> Pinecone, Qdrant , Weaviate: 유료, 다앵한기능 >> Chrome : 무료, 오픈소수!! > Vector Libraries : - Vector 유사도를 계산하는 대 특화된 툴 / DB로서의 기능이 적어 유지보수가 잘 안댄다 >> FAISS : 벡터 저장, 벡터 유사도 구하기등, M.. 2024. 2. 5.
Dart에서 기업 사업보고서 공시 수집하기 (feat .Python) 1. 필요한 라이브러리 설치: pip install dart-fss 2. 패키지 임포트 import dart_fss as dart import pandas as pd import requests import xml.etree.ElementTree as ET import zipfile import io from bs4 import BeautifulSoup api_key = '{내 api key}' dart.set_api_key(api_key=api_key) 3. 상장 기업명 크롤링 # 상장 기업명 크롤링 corp_list = dart.api.filings.get_corp_code() corp_df = pd.DataFrame.from_dict(corp_list) corp_df = corp_df.dropna(.. 2024. 2. 5.
Dart API KEY 발급받기 (open dart. dart api key) 국내주식 많이 투자하시나요? 국내주식의 공시는 금융감독원의 전자공시 시스템 Dart 를 통해 공시됩니다. DART는 금융감독원에서 운영하는 전자공시시스템으로, 상장법인, 금융기관, 지방자치단체 등 공시의무기관이 의무적으로 공시해야 하는 정보를 인터넷으로 제출하고, 일반 투자자들이 실시간으로 열람할 수 있도록 하는 시스템입니다. Dart에서 공시되는 주요 사항은 크게 3가지 입니다 1. 정기공시: 사업보고서: 매년 3월말, 6월말, 9월말, 12월말에 제출 반기보고서: 매년 6월말, 12월말에 제출 분기보고서: 매 분기마다 제출 (1분기: 4월말, 2분기: 7월말, 3분기: 10월말) 사업보고서, 반기보고서, 분기보고서는 회사의 재무상태, 경영성과, 미래계획 등을 포함합니다. 2. 주요사항보고: 임원 및 .. 2024. 2. 4.

티스토리툴바