728x90 RTX30901 일론머스크의 AI, xAI의 오픈소스 LLM 사용해보기 (grok) 2024년 3월 17일!!! 일론머스크가 만든 AI 회사인 xAI에서 초거대 언어모델 grok을 오픈소스로 공개했습니다~!! ㅁ 그록의 간단한 소개 - 파라미터: 3,140억 개 (314B) - 아키텍처: 혼합 전문가 8개(MoE) - 전문가 활용: 토큰 당 2개의 전문가 사용 - 레이어: 64 Architecture: Mixture of 8 Experts (MoE) Experts Utilization: 2 experts used per token - 어텐션 헤드: 쿼리에 48개, 키/값에 8개 - 임베딩 크기: 6,144 - 토큰화: 131,072개 토큰 - 추가 기능: 회전 임베딩 (RoPE): 긴 시퀀스 처리를 위한 효율적인 방법 활성화 분할과 8비트 양자화: 하드웨어 가속을 통한 효율적인 학습과 .. 2024. 3. 19. 이전 1 다음 728x90
