Python86 [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Vectore Store)다! > Pure Vector database : Vector형태의 값만 저장이 가능하다!! (추천) - 업데이트 삭제 이동등 DB와 유사한 기능 >> Pinecone, Qdrant , Weaviate: 유료, 다앵한기능 >> Chrome : 무료, 오픈소수!! > Vector Libraries : - Vector 유사도를 계산하는 대 특화된 툴 / DB로서의 기능이 적어 유지보수가 잘 안댄다 >> FAISS : 벡터 저장, 벡터 유사도 구하기등, M.. 2024. 2. 5. Dart에서 기업 사업보고서 공시 수집하기 (feat .Python) 1. 필요한 라이브러리 설치: pip install dart-fss 2. 패키지 임포트 import dart_fss as dart import pandas as pd import requests import xml.etree.ElementTree as ET import zipfile import io from bs4 import BeautifulSoup api_key = '{내 api key}' dart.set_api_key(api_key=api_key) 3. 상장 기업명 크롤링 # 상장 기업명 크롤링 corp_list = dart.api.filings.get_corp_code() corp_df = pd.DataFrame.from_dict(corp_list) corp_df = corp_df.dropna(.. 2024. 2. 5. [langchain공부] langchain 핵심 - 1 (체인 만들기) langchain의 핵심~!!!! 이름 그대로 chain을 만들어봅시다!! 그런데!!! 왜 체인이 필요할까요!!?? GPT를 활용, 연결되고 연결되는 결과물을 얻기 위해서입니다!! 예를들어!! 여러분은 한 연극의 제목에 대한 비평문이 필요한 상태입니다! 그렇가면, GPT를 활용하여 1. 제목기반의 시놉시스 작성 2. 시놉시스 기반의 비평문 작성 의 절차를 걸쳐야 겠지요!? 위 과정을 langchain 을 활용한다면 깔끔하고 이쁘게 만들수 있습니다!! 연극의 시놉시스의 비평문이 필요한 상태입니다! 함께 시작해보아요!! 우선 언제나 그렇듯 키와 패키지를 임포트해줍니다 from langchain.prompts import PromptTemplate from langchain.chat_models import .. 2024. 2. 3. [langchain공부] langchain 기초 - 3 (feat. 검색결과!!) 이번엔 GPT를 활용하여!! 최신 검색결과를 알아볼까요! pip install google-search-results 시작 전 필요한 패키지를 설치합니다! 오늘의 코드는 간단하기에! 금방 진행됩니다!! from langchain.llms.openai import OpenAI from langchain.agents import load_tools, initialize_agent search_query = "일등박사" # Initialize the OpenAI module, load the SerpApi tool, and run the search query using an agent llm=OpenAI(temperature=0, openai_api_key='{나의 openai key}', verbose=T.. 2024. 2. 1. 이전 1 ··· 9 10 11 12 13 14 15 ··· 22 다음
