728x90 데이터&AI/LLM75 [HyperCLOVA] 문장을 벡터로 임베딩하기 (with Python) 2024.02.13 - [데이터&AI/langchain] - [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada)많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하drfirst.tistory.com 예전 포스팅에서 OpenAI의 API를 통하여 문장을 임베딩.. 2024. 5. 23. 완전쉽게!!! GPT의 Token 이해하기 (with Python) GPT를 사용할떄, 요금은 Token 단위로 계산이 됩니다!! 그런, 토큰이 뭘까요??? 여러 글들을 찾아보면, 아래와 같이 표현합니다.토큰이란? GPT 모델에서의 토큰(token)은 매우 간단한 개념이다. 일상 언어에서 우리가 사용하는 단어나 문장 부호와 같은 것을 생각하면 된다.GPT 모델에서는 이러한 단어나 문장 부호를 더 작은 단위로 쪼갠 것을 토큰이라고 부른다. 그런데, 요렇게 글로 이해하는것 보다, 파이썬 코드 하나로 이해하면 편합니다!!한번 볼까요? 토큰 "1" 은 어떤 글자로 매칭이 될까요?아래 코드로 확인해봅시다!import tiktokenencoding = tiktoken.encoding_for_model('gpt-3.5-turbo')encoding.decode([1]) 1은 바로 .. 2024. 5. 20. 파이썬 langchain 활용기반, 쉽게 챗봇사이트 만들기 (gradio) streamlit에 이어파이썬의 기본 기능과 langchain 기능을 결합,쉽게 챗봇사이트를 만들도록 도와주는 그라디어 (Gradio)의 사용방법에 대하여 알아보겠습니다!! 1. pip 로 패키지 설치!! pip install gradio 2. 패키지 로드!! 이번에는 gpt3.5를 사용해보겠습니다!!from langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplatefrom langchain.chat_models import ChatOpenAImodel = "gpt-3.5-turbo"## 모델설정chatgpt35 = ChatOpenAI(temperature=0, mode.. 2024. 5. 18. few show과 zero shot 그리고 CoT (feat. 성킴님 강의) 숫자 문제를 잘 못푸는 경우가 있다!! 이때문에 CoT라는 방법론이 나왔다!! 그래서, few-show/ zero show + COT에 대하여 알아보자!Few-shot : 예시를 보여줄게~~from langchain_core.prompts import PromptTemplateprompt_template = PromptTemplate.from_template( """질문: 로저는 테니스공을 5개 가지고 있습니다. 그는 테니스공이 3개씩 들어 있는 캔 2개를 더 삽니다. 이제 그는 테니스공을 몇 개 가지고 있습니까?답: 답은 11개입니다.질문: 식당에 사과가 23개 있었습니다. 점심을 만들기 위해 20개를 사용했고, 6개를 더 샀다면, 사과가 몇 개 남았습니까?답: 단계별로 생각해 봅시다.""")c.. 2024. 5. 18. 이전 1 ··· 9 10 11 12 13 14 15 ··· 19 다음 728x90
