728x90 grok3 Grok-2 beta의 API 활용해보기 (feat. python) https://x.ai/blog/grok-2 Grok-2 Beta ReleaseAugust 13, 2024 Grok-2 Beta Release Grok-2 is our frontier language model with state-of-the-art reasoning capabilities. This release includes two members of the Grok family: Grok-2 and Grok-2 mini. Both models are now being released to Grok users on thex.ai2024년 10월 13일 머스크의 LLM 회사인 xAI는 Grok-2 Beta를 공개했습니다!모든 모델들이 이야기하듯!! ELO점수 및 다양한 지표들로 그 우수성을 강조했는.. 2024. 10. 28. LLM 모델명 이해하기! (feat. 모델명에 붙은 Instruct 가 무슨뜻이지?) LLM모델의 메카 허깅페이스!!https://huggingface.co/models이 Huggingface를 방문해 보면!! 여러 모델들일 확인할 수 있는데요~~ 오늘은 이 모델들의 이름을 이해하는 방법에 대하여 알아보겠습니다!!! 가장 대표적인 메타의 llama 모델명으로 알아보아요!! Llama-3.1-8B-Instruct위 형식을 보면 4가지로 구성이되어있습니다!!{모델명}-{버전}-{파라미터수}-{Instruct여부} 1. Llama - 모델명모델명!!! 여기서 Llama는 Meta에서 개발한 대형 언어 모델 시리즈로, 다양한 자연어 처리 작업이 가능하다!!그 외에도 GPT-4 (OpenAI), Claude (Anthropic), Falcon (TII), Mistral (Mistral AI), .. 2024. 10. 3. 일론머스크의 AI, xAI의 오픈소스 LLM 사용해보기 (grok) 2024년 3월 17일!!! 일론머스크가 만든 AI 회사인 xAI에서 초거대 언어모델 grok을 오픈소스로 공개했습니다~!! ㅁ 그록의 간단한 소개 - 파라미터: 3,140억 개 (314B) - 아키텍처: 혼합 전문가 8개(MoE) - 전문가 활용: 토큰 당 2개의 전문가 사용 - 레이어: 64 Architecture: Mixture of 8 Experts (MoE) Experts Utilization: 2 experts used per token - 어텐션 헤드: 쿼리에 48개, 키/값에 8개 - 임베딩 크기: 6,144 - 토큰화: 131,072개 토큰 - 추가 기능: 회전 임베딩 (RoPE): 긴 시퀀스 처리를 위한 효율적인 방법 활성화 분할과 8비트 양자화: 하드웨어 가속을 통한 효율적인 학습과 .. 2024. 3. 19. 이전 1 다음 728x90
