Instruction Tuning1 [ LLM 공부] Mixture of Experts (MoE) 쉽게 이해하기! 이번 포스팅은 유튜브 영상을 보고 Mixture of Experts LLM (MoE) 에 대하여 학습한 영상을 정리하고자합니다~~ Mixture of Experts (MoE) 의 정의 MoE 모델은? - 언어 모델을 더 작고 특화된 하위 모델, 즉 전문가 모델들로 분해할 수 있다는 점에 기반을 두고 있다. - 이 전문가 모델들은 각자 특정 부분을 처리하는 데 "특화되어 있어" 전체적인 계산 효율과 자원 할당을 개선 MoE 의 역사는? > 2017년의 'Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer' (by google Brain)에서 시작 논문분석!! - 1 - 원문 URL : https://arxiv.org.. 2024. 4. 12. 이전 1 다음
