전체 글465 빠르고 쉽게 설치하는 AIRFLOW (우분투, 코드 4줄) AIRFLOW란?Airflow는 복잡한 데이터 워크플로우를 시각적으로 설계하고 관리하는 오픈소스 플랫폼입니다. Python 기반으로 작성되어 유연하고 확장 가능하며, 다양한 작업 스케줄링 및 모니터링 기능을 제공합니다. 데이터 엔지니어링, 머신러닝 파이프라인 등 다양한 분야에서 활용됩니다. 설치하기!! 간단, 4줄!!?============= 가상환경에서 하기 (필요하신분만)==============python3 -m venv airflow-envsource airflow-env/bin/activate========================= 진짜코드 =========================[설치] pip install apache-airflow[계정admin설정] airflow users cr.. 2024. 5. 22. 완전쉽게!!! GPT의 Token 이해하기 (with Python) GPT를 사용할떄, 요금은 Token 단위로 계산이 됩니다!! 그런, 토큰이 뭘까요??? 여러 글들을 찾아보면, 아래와 같이 표현합니다.토큰이란? GPT 모델에서의 토큰(token)은 매우 간단한 개념이다. 일상 언어에서 우리가 사용하는 단어나 문장 부호와 같은 것을 생각하면 된다.GPT 모델에서는 이러한 단어나 문장 부호를 더 작은 단위로 쪼갠 것을 토큰이라고 부른다. 그런데, 요렇게 글로 이해하는것 보다, 파이썬 코드 하나로 이해하면 편합니다!!한번 볼까요? 토큰 "1" 은 어떤 글자로 매칭이 될까요?아래 코드로 확인해봅시다!import tiktokenencoding = tiktoken.encoding_for_model('gpt-3.5-turbo')encoding.decode([1]) 1은 바로 .. 2024. 5. 20. 파이썬 langchain 활용기반, 쉽게 챗봇사이트 만들기 (gradio) streamlit에 이어파이썬의 기본 기능과 langchain 기능을 결합,쉽게 챗봇사이트를 만들도록 도와주는 그라디어 (Gradio)의 사용방법에 대하여 알아보겠습니다!! 1. pip 로 패키지 설치!! pip install gradio 2. 패키지 로드!! 이번에는 gpt3.5를 사용해보겠습니다!!from langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplatefrom langchain.chat_models import ChatOpenAImodel = "gpt-3.5-turbo"## 모델설정chatgpt35 = ChatOpenAI(temperature=0, mode.. 2024. 5. 18. few show과 zero shot 그리고 CoT (feat. 성킴님 강의) 숫자 문제를 잘 못푸는 경우가 있다!! 이때문에 CoT라는 방법론이 나왔다!! 그래서, few-show/ zero show + COT에 대하여 알아보자!Few-shot : 예시를 보여줄게~~from langchain_core.prompts import PromptTemplateprompt_template = PromptTemplate.from_template( """질문: 로저는 테니스공을 5개 가지고 있습니다. 그는 테니스공이 3개씩 들어 있는 캔 2개를 더 삽니다. 이제 그는 테니스공을 몇 개 가지고 있습니까?답: 답은 11개입니다.질문: 식당에 사과가 23개 있었습니다. 점심을 만들기 위해 20개를 사용했고, 6개를 더 샀다면, 사과가 몇 개 남았습니까?답: 단계별로 생각해 봅시다.""")c.. 2024. 5. 18. [2024.5.17] 성킴님의 LLM, langchain 강의 - SNUxUpstage LLM 세션② 세션1은 교수님들의 강의로 진행되었습니다.2024.05.16 - [데이터&AI/LLM] - [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!! 솔라 가입 및 간단한 시작!! 아래글을 참고로 세팅을 마쳤습니다!2024.05.16 - [데이터&AI/LLM] - upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의) upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의)2024.05.16 - [데이터&AI/LLM] - [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!! [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!!https://kiis.. 2024. 5. 17. upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의) 2024.05.16 - [데이터&AI/LLM] - [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!! [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!!https://kiise.or.kr/conference/conf/147/ 한국정보과학회 - 학술대회 홈페이지 kiise.or.kr 첫수업!! 서울대 컴퓨터공학부 이광근 교수님. 기계계산의 정의와 탄생!!쿠르트 괴델 (Kurt Gödel)괴델의 불완전성drfirst.tistory.com Intro요즘시대에 필요한 능력은???트렌드를 이해하기와! 행동할 수 있는 능력!!이에 실제로 파이썬으로 써보며 알아보자!! 그래서 다가오는 AGI시대에 적응해야한다!! 예전에는 DBMS가 완전 .. 2024. 5. 16. 이전 1 2 3 4 5 6 7 8 ··· 78 다음
