본문 바로가기
728x90

데이터&AI/LLM77

[Mistral Small 3] GPT-4o-mini를 대체할 수 있는 On-premise 모델!~ 2월1일,프랑스 AI 기업인 미스트랄은 GPT-4o-mini에 대응되는,빠르게 답변할수 있는 24B 파라미터 규모의 AI 모델 미스트랄 스몰 3(Mistral Small 3)을  공개했습니다. 또한 이 모델은 오픈소스모델로서 어디서든지 테스트할수있는데요!우선 미스트랄이 발표한 모델의 특징을 알아보겠습니다!!!Mistral Small 3의 주요 특징은!?여러 지원Mistral Small 3은 수십 가지 언어를 지원하며, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어, 일본어, 한국어, 포르투갈어, 네덜란드어, 폴란드어 등을 포함한 다양한 언어로 작업할 수 있습니다.!! 한국어가 포함되어 있기에 잠시후 테스트를 진행해보겠습니다!!에이전트 중심function calling 기능에 잘 적응하기 위해!.. 2025. 2. 3.
on-premise로 deepseek-R1기반의 챗봇 만들기!(with Ollama&gradio) 안녕하세요!! 오늘은 최근의 핫이슈!! deepseek-R1을 바탕으로 챗봇을 만들어보겠습니다!! deepseek에 대해서는 요즘 아주 많은 기사들과 잘 설명된 내용들이 있기에!!설명은 각설하고!@ 바로 설치부터 시작해보아요~! 1. Ollama에서 deepseek-r1 모델 다운!!감사하게도~!^^ollama에는 이미 deepseek-r1모델이 이미 올라와있습니다! https://ollama.com/library/deepseek-r1 deepseek-r1Get up and running with large language models.ollama.com 1.5B 부터 671B 까지7가지 모델이 있는데요~!저는 9GB 수준의 용량이 적잘한 14B 모델을 사용하보겠습니다!ollama run deepseek.. 2025. 1. 28.
LLM의 요약을 잘했는지 평가하는 방법! ROUGE 점수! (with python code) 점수의 타입!!   chatgpt이후로!LLM을 통한 요약, 변역에 정말 효과적이어서 많은 분들이 사용하고 있는데요~~이때 정말 요약을 잘하는걸까? 에 대하여어떤 모델이 더 요약을 잘할까? 를 평가하는 지표가 있어 오늘 소개하고자합니다!!   바로 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 점수!!! 인데요!! 이 ROUGE 점수가 어떻게 계산되는지,python 코드로 이 점수를 구하는 방법을 오늘 알아보겠습니다!!ROUGE 점수의 타입 및 평가방법!ROUGE 점수는 요약 성능을 평가하는 주요 지표입니다.요약 결과 내의 텍스트가 기준 텍스트와 얼마나 일치하는지를 측정합니다. ROUGE는 주로 n-그램(연속된 단어의 집합) 일치를 기반으로 하는 .. 2024. 11. 9.
openai API의 RAG하기!! (2)-여러개 파일!!+html (tool_call 기능 중 Assistants File Search) 2024.11.05 - [데이터&AI/LLM] - openai API로만 RAG하기!! (1) (tool_call 기능 중 Assistants File Search)지난 포스팅에서 텐센트의 사업보고서.pdf 를 기반으로,openai의 API의 file search 기능을 활용해보았습니다!!이번에는 이 file_search의 기능을 더 자세히 알아보도록 하겠습니다!! 0. 미션이번엔 지난 tencent의 사업보고서외에도 삼성전자 사업보고서, 테슬라 사업보고서를 함께 vector화하여!!이중에서 필요한 정보를 추출해보겠습니다!!  ※ 질문!! pdf html도?? file search에서 가능한 파일타입은!!?공식 홈페이지에 따르면 아래와 같이 pptx, docx 등 다양한 파일들을 지원합니다!!  Supp.. 2024. 11. 8.
728x90