728x90 생성형AI5 [Mistral Small 3] GPT-4o-mini를 대체할 수 있는 On-premise 모델!~ 2월1일,프랑스 AI 기업인 미스트랄은 GPT-4o-mini에 대응되는,빠르게 답변할수 있는 24B 파라미터 규모의 AI 모델 미스트랄 스몰 3(Mistral Small 3)을 공개했습니다. 또한 이 모델은 오픈소스모델로서 어디서든지 테스트할수있는데요!우선 미스트랄이 발표한 모델의 특징을 알아보겠습니다!!!Mistral Small 3의 주요 특징은!?여러 지원Mistral Small 3은 수십 가지 언어를 지원하며, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어, 일본어, 한국어, 포르투갈어, 네덜란드어, 폴란드어 등을 포함한 다양한 언어로 작업할 수 있습니다.!! 한국어가 포함되어 있기에 잠시후 테스트를 진행해보겠습니다!!에이전트 중심function calling 기능에 잘 적응하기 위해!.. 2025. 2. 3. LLM의 요약을 잘했는지 평가하는 방법! ROUGE 점수! (with python code) 점수의 타입!! chatgpt이후로!LLM을 통한 요약, 변역에 정말 효과적이어서 많은 분들이 사용하고 있는데요~~이때 정말 요약을 잘하는걸까? 에 대하여어떤 모델이 더 요약을 잘할까? 를 평가하는 지표가 있어 오늘 소개하고자합니다!! 바로 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 점수!!! 인데요!! 이 ROUGE 점수가 어떻게 계산되는지,python 코드로 이 점수를 구하는 방법을 오늘 알아보겠습니다!!ROUGE 점수의 타입 및 평가방법!ROUGE 점수는 요약 성능을 평가하는 주요 지표입니다.요약 결과 내의 텍스트가 기준 텍스트와 얼마나 일치하는지를 측정합니다. ROUGE는 주로 n-그램(연속된 단어의 집합) 일치를 기반으로 하는 .. 2024. 11. 9. LLM모델의 양자화!!(Quantization): GPTQ 및 AWQ 방식 알아보 오늘의 글 3줄요약!!양자화는 모델을 압축한다!!단순히 모델 다운받아 사용할거면 GPTQ가 완벽!!메모리를 아끼며 학습시키려면!! AWQ를 쓰자!! OpenAI의 GPT가 LLM 모델의 대표가 되어가고있지만,이는 유로상업 모델로 그 구조가 공개되어있지 않습니다!! 하지만!! Meta의 llama를 필두로해서 여러 오픈소스 모델이 공개되고있는데요!!이런 오픈소스 모델은 엄청 큰!! 메모리와 계산 자원을 요구합니다. 이를 해결하기 위한 방법 중 하나가 양자화(Quantization)입니다.쉽게 말해 LLM 모델을 압축한다고 이해하면 되겠죄~~?원래 양자화란 아날로그 신호를 binary 한 양자(전자는 1에서 1.5 가 없이 바로 2로가죠!?)신호로 바꾸는데서 유래되었는데요!! 오늘은 LLM모델의 양자화에 .. 2024. 10. 7. LLM 모델명 이해하기! (feat. 모델명에 붙은 Instruct 가 무슨뜻이지?) LLM모델의 메카 허깅페이스!!https://huggingface.co/models이 Huggingface를 방문해 보면!! 여러 모델들일 확인할 수 있는데요~~ 오늘은 이 모델들의 이름을 이해하는 방법에 대하여 알아보겠습니다!!! 가장 대표적인 메타의 llama 모델명으로 알아보아요!! Llama-3.1-8B-Instruct위 형식을 보면 4가지로 구성이되어있습니다!!{모델명}-{버전}-{파라미터수}-{Instruct여부} 1. Llama - 모델명모델명!!! 여기서 Llama는 Meta에서 개발한 대형 언어 모델 시리즈로, 다양한 자연어 처리 작업이 가능하다!!그 외에도 GPT-4 (OpenAI), Claude (Anthropic), Falcon (TII), Mistral (Mistral AI), .. 2024. 10. 3. 이전 1 2 다음 728x90
