본문 바로가기
728x90

Python84

[프롬포트엔지니어링]wikipedia 검색해서 gpt로 글쓰기!! (feat. wikipediaapi, 사육신) GPT의 글쓰기 능력이 뛰어난것은 누구나 알고있지요!하지만, 어떻게 글을 생성해야할지. 그 재료는 우리가 잘 입력해야합니다!!  위와 같이 사육신에 대하여 물어보면 이상한 대답을합니다.그래서 위키피디아으 데이터를 가지고 사육신을 소개하는 글을 써보고자합니다  1. Wikipedia 검색을 통한 정보 수집Wikipedia API 사용하기Wikipedia는 다양한 주제에 대한 정보를 쉽게 얻을 수 있는 훌륭한 출처입니다.Wikipedia API를 사용하면 원하는 주제에 대한 정보를 수집 할 수 있습니다.Python을 이용한 간단한 예제는 다음과 같습니다: import wikipediaapi# Wikipedia API 객체 생성user_agent = 'Mozilla/5.0 (Windows NT 10.0; Wi.. 2024. 7. 14.
RMSNorm과 Layer Normalization 비교하기 오늘의 주제 요약!! LN은 합창단의 각 파트가 아름다운 화음을 만들도록 돕는 합창 지휘자라면, RMSNorm은 오케스트라 전체의 연주를 조율하여 감동적인 교향곡을 완성하는 오케스트라 지휘자와 같다!! 1. Layer Normalization - 신경망의 각 층에서 입력 데이터의 정규화를 수행하는 방법 -  합창단의 각 파트별 음량을 조절하는 것과 같음!! 소프라노, 알토, 테너, 베이스 각 파트의 음량이 너무 크거나 작으면 전체적인 화음이 깨지게 되기에 LN은 각 파트의 음량을 적절히 조절하여 전체적인 화음을 아름답게 만드는 역할을 함 입력 데이터:입력 데이터 𝑥=[𝑥1,𝑥2,...,𝑥𝑑] 의 𝑑차원 벡터. 평균 계산:  각 샘플의 평균을 계산3. 분산 계산:샘플의 분산을 계산4. 정규화: .. 2024. 6. 28.
알리바바의 llm 모델 qwen2 사용해보기 (feat.놀라운 한국어실력) 여러가지 오픈소스 모델들을 알아보고있었습니다.2024.05.29 - [데이터&AI/LLM] - 내 서버에서 llama3 실행하기!! (feat. ollama) 내 서버에서 llama3 실행하기!! (feat. ollama)이전 포스팅에서 ollama를 활용하여 llama2-uncencored 모댈을 활용해보았고,airllm을 활용하여 llama3 모델을 활용해보았는데요!! 이번에는 ollama를 활용하여 llama3를 사용해보겠습니다!! 1. ollama 실행!! -drfirst.tistory.com2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bl.. 2024. 6. 23.
llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm)2024.04.19 - [데이터&AI/LLM] - llama3 무료로 쉽게 사용해보기 (feat. huggingface) llama3 무료로 쉽게 사용해보기 (feat. huggingface)우리시간 지난 밤(2024년 4월 18~19일 밤) 메타에서는 라마3를 오픈소스를 공개drfirst.tistory.com 그런데!! 이제는 내 서버에서!!!한국어를 잘하는 llama3 오픈소스 모델을 사용할수 있게되었습니다!! 바로.. 2024. 6. 21.
728x90