728x90 opensource2 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 2024.04.19 - [데이터&AI/LLM] - llama3 무료로 쉽게 사용해보기 (feat. huggingface) llama3 무료로 쉽게 사용해보기 (feat. huggingface)우리시간 지난 밤(2024년 4월 18~19일 밤) 메타에서는 라마3를 오픈소스를 공개했습니다!! GPT-3.5, Claude Sonnet 보다 평가가 좋고!! 아직 공개되지 않은 400b 모델은 GPT-4, Claude 3 Opus를 뛰어넘을 것으로 예drfirst.tistory.com 지난 포스팅에서 llama3를 huggingface 플랫폼 내에서 사용하는 방법을 공유했었습니다. 오늘은!!!이 llama3 70B 모델을 내 서버에서 사용하는 방법을 알아보곘습니다!! 바로 airllm을 활용하는것 인데요!! 1... 2024. 5. 7. 일론머스크의 AI, xAI의 오픈소스 LLM 사용해보기 (grok) 2024년 3월 17일!!! 일론머스크가 만든 AI 회사인 xAI에서 초거대 언어모델 grok을 오픈소스로 공개했습니다~!! ㅁ 그록의 간단한 소개 - 파라미터: 3,140억 개 (314B) - 아키텍처: 혼합 전문가 8개(MoE) - 전문가 활용: 토큰 당 2개의 전문가 사용 - 레이어: 64 Architecture: Mixture of 8 Experts (MoE) Experts Utilization: 2 experts used per token - 어텐션 헤드: 쿼리에 48개, 키/값에 8개 - 임베딩 크기: 6,144 - 토큰화: 131,072개 토큰 - 추가 기능: 회전 임베딩 (RoPE): 긴 시퀀스 처리를 위한 효율적인 방법 활성화 분할과 8비트 양자화: 하드웨어 가속을 통한 효율적인 학습과 .. 2024. 3. 19. 이전 1 다음 728x90
