본문 바로가기
728x90

데이터&AI/LLM78

GPT API에서 실시간 검색 결과 받기!!(OpenAI의 Web Search Preview) 그동안 GPT API는 모델에 직접 연결되어서 결과를 받는것이어서,실시간, 혹은 검색결과가 포함된 결과물이 필요할 경우,직접 검색결과를 서치해서 input에 넣어주거나 duckduckgo API 등을 활용해야했습니다!!하지만 이젠, OpenAI의 Web Search Preview의 기능 덕분에 API에서 자동으로 검색 결과를 반영한 return 값을 주게되었습니다!! 한번 알아볼까요!? 개요!! OpenAI의 Web Search Preview OpenAI에서 발표한 “Web Search Preview”는  답변을 보다 현실적이고 최신의 정보로 보강할 수 있는 기능을 제공!!주요 특징으로는!! 아래의 이미지를 보면 오늘의 경제뉴스를 물어보면!! 실시간 정보와 출처를 보여주는것을 볼수 있습니다. - 최신 정.. 2025. 3. 20.
[Mistral Small 3] GPT-4o-mini를 대체할 수 있는 On-premise 모델!~ 2월1일,프랑스 AI 기업인 미스트랄은 GPT-4o-mini에 대응되는,빠르게 답변할수 있는 24B 파라미터 규모의 AI 모델 미스트랄 스몰 3(Mistral Small 3)을  공개했습니다. 또한 이 모델은 오픈소스모델로서 어디서든지 테스트할수있는데요!우선 미스트랄이 발표한 모델의 특징을 알아보겠습니다!!!Mistral Small 3의 주요 특징은!?여러 지원Mistral Small 3은 수십 가지 언어를 지원하며, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어, 일본어, 한국어, 포르투갈어, 네덜란드어, 폴란드어 등을 포함한 다양한 언어로 작업할 수 있습니다.!! 한국어가 포함되어 있기에 잠시후 테스트를 진행해보겠습니다!!에이전트 중심function calling 기능에 잘 적응하기 위해!.. 2025. 2. 3.
on-premise로 deepseek-R1기반의 챗봇 만들기!(with Ollama&gradio) 안녕하세요!! 오늘은 최근의 핫이슈!! deepseek-R1을 바탕으로 챗봇을 만들어보겠습니다!! deepseek에 대해서는 요즘 아주 많은 기사들과 잘 설명된 내용들이 있기에!!설명은 각설하고!@ 바로 설치부터 시작해보아요~! 1. Ollama에서 deepseek-r1 모델 다운!!감사하게도~!^^ollama에는 이미 deepseek-r1모델이 이미 올라와있습니다! https://ollama.com/library/deepseek-r1 deepseek-r1Get up and running with large language models.ollama.com 1.5B 부터 671B 까지7가지 모델이 있는데요~!저는 9GB 수준의 용량이 적잘한 14B 모델을 사용하보겠습니다!ollama run deepseek.. 2025. 1. 28.
LLM의 요약을 잘했는지 평가하는 방법! ROUGE 점수! (with python code) 점수의 타입!!   chatgpt이후로!LLM을 통한 요약, 변역에 정말 효과적이어서 많은 분들이 사용하고 있는데요~~이때 정말 요약을 잘하는걸까? 에 대하여어떤 모델이 더 요약을 잘할까? 를 평가하는 지표가 있어 오늘 소개하고자합니다!!   바로 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 점수!!! 인데요!! 이 ROUGE 점수가 어떻게 계산되는지,python 코드로 이 점수를 구하는 방법을 오늘 알아보겠습니다!!ROUGE 점수의 타입 및 평가방법!ROUGE 점수는 요약 성능을 평가하는 주요 지표입니다.요약 결과 내의 텍스트가 기준 텍스트와 얼마나 일치하는지를 측정합니다. ROUGE는 주로 n-그램(연속된 단어의 집합) 일치를 기반으로 하는 .. 2024. 11. 9.
728x90