본문 바로가기
728x90

LangChain28

[langchain공부] embedding된 Vector를 mongoDB에 저장하기 2024.02.05 - [데이터&AI/langchain] - [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) [langchain공부] Vectorstores. 벡터 저장소 (feat. Chroma, FAISS) 사용자가 질문하고 답하는 RAG(Retrieval Augmented Generation, 검색 증강 생성)에서는 텍스트들을 벡터호 하여 Embeding한 하는데, 이 벡터를 저장해두 공간이 필요하다!! 이때 사용되는것이 벡터저장소 (Ve drfirst.tistory.com 지난 포스팅들을 통해서 embedding된 vectore들을 chroma, FAISS 등의 벡터 저장소에 저장하는 과정을 진행해보았는데요!! 이번 포스팅에선느 NoSQL의 선.. 2024. 3. 5.
[langchain공부]gpt와 함께하는 few shot learning ! (feat. python) Few-Shot Learning 이란!? Few-Shot Learning은 적은 양의 데이터로도 새로운 작업을 학습하도록 인공지능 모델을 훈련하는 기법 반적인 머신러닝 모델은 방대한 양의 데이터를 필요로 하지만, Few-Shot Learning은 새로운 개념이나 카테고리를 빠르게 학습하도록 모델을 설계하여 데이터 부족 문제를 해결 Few-Shot Learning의 주요 특징: 적은 양의 학습 데이터: 새로운 작업을 학습하기 위해 필요한 데이터가 매우 적음 빠른 학습 속도: 새로운 개념을 빠르게 이해하고 적용할 수 있습니다. 일반화 능력: 학습된 개념을 새로운 상황에 적용할 수 있습니다. Few-Shot Learning의 활용 분야: 자연어 처리: 새로운 단어나 문장의 의미를 학습 컴퓨터 비전: 새로운 물.. 2024. 2. 24.
[langchain공부] Input 텍스트가 너무 길때~~ Text Spitter!? (feat. RecursiveCharacterTextSplitter) 내가 질문한 내용을!! GPT에 보내고 답변하기!! RAG의 기본입니다!! from langchain_openai import ChatOpenAI llm = ChatOpenAI(openai_api_key = '{내api키}') my_text = """ 구글이 새로운 영상 생성형 인공지능(AI) 모델을 공개했다. 챗GPT로 시장의 게임 체인저가 된 오픈AI에 가려졌던 구글의 AI 역량이 다시 주목받고 있다. 지난달 25일 구글은 영상 생성 AI ‘루미에르’를 선보였다. 기존에 공개된 영상 생성 AI에 비해 진보된 성능이란 평가를 받으며 학계와 업계의 관심을 끌고 있다. 루미에르에는 구글이 개발한 신기술인 ‘시공간 U-넷’이 적용됐다. 영상 전체를 한 번에 처리하는 기술이다. 기존의 영상 생성 AI는 시간-.. 2024. 2. 9.
[langchain공부] RetrievalQA. 긴 문서에서 원하는 답변 찾기3 (feat. similarity, mmr, similarity_score_threshold,hybrid) 지난 포스팅 까지 RetrievalQA를 활용하여 긴 문서에서 답변찾기 실습, 2024.02.06 - [일등박사의 생각/데이터&AI] - [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) [langchain공부] Retriever. 긴 문서에서 원하는 답변 찾기1 (feat. RetrievalQA, 문서 검색, html) 오늘은 langchain 의 꽃!!! Retriever를 활용해보겠습니다!! 우선 이 기술은 어떨떄 활용할까요!? Retrieval의 뜻 자체가 검색이라는 뜻으로, 엄청 긴 PDF, html 등의 문서가 있고 그 문서에서 필요한 내용만 drfirst.tistory.com 답변 찾는 방식의 체인 타입(C.. 2024. 2. 8.
728x90

티스토리툴바