728x90 SageMaker1 LLM 모델 팔콘 알아보기 (Falcon-180b) 오늘은 HuggingFace에 TII가 소개한 초거대언어모델(LLM)인 Falcon 180B를 알아보고자합니다!! ㅁ 모델 소개 및 배경 Falcon 180B는 현재까지 공개된 오픈소스 모델중 최고라고할수 있습니다!! 약 1800억 개의 매개변수를 가진 가장 큰 개방된 언어 모델로 기존에 공개되었던 Falcon 40B의 확장된 버전으로 다중 쿼리 어텐션( multiquery attention ) 같은 혁신을 바탕으로 개발되었습니다 모델 제작시에는 딥러닝 클라우드 서비스인 Amazon SageMaker를 바탕으로 최대 4096개의 GPU를 동시에 사용, 3.5조 개의 토큰으로 훈련되었습니다. (Llama 2보다 2.5배 더 크고 4배 더 많은 컴퓨팅으로 훈련되었다는 것을 의미합니다.) ㅁ 성능비교 Falc.. 2023. 12. 2. 이전 1 다음 728x90
