728x90 RecursiveCharacterTextSplitter2 [langchain공부] Input 텍스트가 너무 길때~~ Text Spitter!? (feat. RecursiveCharacterTextSplitter) 내가 질문한 내용을!! GPT에 보내고 답변하기!! RAG의 기본입니다!! from langchain_openai import ChatOpenAI llm = ChatOpenAI(openai_api_key = '{내api키}') my_text = """ 구글이 새로운 영상 생성형 인공지능(AI) 모델을 공개했다. 챗GPT로 시장의 게임 체인저가 된 오픈AI에 가려졌던 구글의 AI 역량이 다시 주목받고 있다. 지난달 25일 구글은 영상 생성 AI ‘루미에르’를 선보였다. 기존에 공개된 영상 생성 AI에 비해 진보된 성능이란 평가를 받으며 학계와 업계의 관심을 끌고 있다. 루미에르에는 구글이 개발한 신기술인 ‘시공간 U-넷’이 적용됐다. 영상 전체를 한 번에 처리하는 기술이다. 기존의 영상 생성 AI는 시간-.. 2024. 2. 9. [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Vectore Store)다! > Pure Vector database : Vector형태의 값만 저장이 가능하다!! (추천) - 업데이트 삭제 이동등 DB와 유사한 기능 >> Pinecone, Qdrant , Weaviate: 유료, 다앵한기능 >> Chrome : 무료, 오픈소수!! > Vector Libraries : - Vector 유사도를 계산하는 대 특화된 툴 / DB로서의 기능이 적어 유지보수가 잘 안댄다 >> FAISS : 벡터 저장, 벡터 유사도 구하기등, M.. 2024. 2. 5. 이전 1 다음 728x90
