[Mistral Small 3] GPT-4o-mini를 대체할 수 있는 On-premise 모델!~

 

2월1일,프랑스 AI 기업인 미스트랄은 GPT-4o-mini에 대응되는,

빠르게 답변할수 있는 24B 파라미터 규모의 AI 모델 미스트랄 스몰 3(Mistral Small 3)을  공개했습니다.

 

또한 이 모델은 오픈소스모델로서 어디서든지 테스트할수있는데요!

우선 미스트랄이 발표한 모델의 특징을 알아보겠습니다!!!

---

Mistral Small 3의 주요 특징은!?

1. 여러 지원
   Mistral Small 3은 수십 가지 언어를 지원하며, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어, 일본어, 한국어, 포르투갈어, 네덜란드어, 폴란드어 등을 포함한 다양한 언어로 작업할 수 있습니다.!! 한국어가 포함되어 있기에 잠시후 테스트를 진행해보겠습니다!!
2. 에이전트 중심
   function calling 기능에 잘 적응하기 위해!! 에이전트 중심으로 개발되었다고 합니다!!.
3. 고급 추론 능력
   딥시크(Deepseek) 와 GPT O3 등 추론능력이 대세!! Mistral Small 3은 최신의 대화 및 추론 능력을 갖추고 있어, 복잡한 문제 해결과 심층적인 대화에 능숙하다고 합니다!
4. Apache 2.0 라이센스
   오픈소스!!!!!!!! 이 모델은 Apache 2.0 라이센스를 따르며, 상업적 및 비상업적 용도로 자유롭게 사용하고 수정할 수 있습니다.
5. 대용량 컨텍스트 창
   Mistral Small 3은 32k의 대규모 컨텍스트 창을 지원해, 긴 프롬포트를 넣을수 있습니다!!
6. 향상된 토크나이저
   131k의 어휘를 가진 Tekken 토크나이저를 사용, 더 다양한 입력을 정확하게 처리가능합니다!!

그래서! 성능이 어떤데?

Mistral Small 3은 "소형" 이지만 대형 모델 못지않은 성능을 발휘한다고합니다.

외부 사용자들을 대상으로 경쟁 모델인 Gemma2 / Qwen2.5 /GPT-4o-mini / LLama3.3 과 비교해보니!!

 

코드 작성, 수학 문제 해결, 일반 지식, 지침 수행 등의 영역에서 우수했다고합니다!

그 외에 평가모델들에 대한 결과도!!

언제다  모델오픈 시 강조하듯!! mistral small 도 우수했다고합니다!

 

테스트해볼까요!? with ollama

언제나그렇듯! 감사하게도 이미 ollama에는 mistral small 3 모델이 이미 업로드 되어있었습니다!!^^

https://ollama.com/library/mistral-small

mistral-small

아래 코드로 간단히 실행가능하지요~~

ollama run mistral-small

 

그리고 테스트해보면?

 

이미지에서는 느낄수 없지만 답변속도가 정말 반응도 빠르네요!!

게다가 한국어도 잘합니다!! GPT-4o를 사용할 필요가 없을 정도로 좋은데요!?

 

발전하는 오픈소스 LLM 들의 속도가 어마무시합니다!!

OpenAI도 오픈소스로 간다는 썰이 있는데, 앞으로 어떻게 변해갈지 궁금하네요!

 

https://www.betanews.net/article/view/beta202502020002

오픈AI 샘 알트먼, “딥시크와 메타가 옳았다”