본문 바로가기
728x90

ollama10

on-premise로 deepseek-R1기반의 챗봇 만들기!(with Ollama&gradio) 안녕하세요!! 오늘은 최근의 핫이슈!! deepseek-R1을 바탕으로 챗봇을 만들어보겠습니다!! deepseek에 대해서는 요즘 아주 많은 기사들과 잘 설명된 내용들이 있기에!!설명은 각설하고!@ 바로 설치부터 시작해보아요~! 1. Ollama에서 deepseek-r1 모델 다운!!감사하게도~!^^ollama에는 이미 deepseek-r1모델이 이미 올라와있습니다! https://ollama.com/library/deepseek-r1 deepseek-r1Get up and running with large language models.ollama.com 1.5B 부터 671B 까지7가지 모델이 있는데요~!저는 9GB 수준의 용량이 적잘한 14B 모델을 사용하보겠습니다!ollama run deepseek.. 2025. 1. 28.
llama3.2 체험하기 (feat. ollama) + 한국어는,, 언제쯤?! 2024년 9월 25일!! 메타에서는 llama3.2모델을 공개했습니다!! 이번 모델의 주요 특징 요약!!!! 1. 모바일 및 엣지 디바이스에 적합한 소형(1B, 3B) 및 중형 비전 모델(11B, 90B)로 구분!!2. 128K 토큰까지 지원하며 Qualcomm, MediaTek, ARM 하드웨어에서 사용 가능!!3. Claude 3와 같은 폐쇄형 모델보다 이미지 이해 작업에서 더 나은 성능이라고하고!!4. 여러 플랫폼 파트너 (including AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake) 에서도 사용 가능하다고 했습니다!! 점점 이런 모델 덕분에 소형.. 2024. 10. 11.
vllm 설치하고 오픈소스 모델을 openai 모듈로 써보기!(feat. 알리바바의 qwen2.5 예시!!) 2024.06.23 - [데이터&AI/LLM] - 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All) 오픈 소스 LLM 서빙 소프트웨어 비교해보기!! (vLLM, Ollama, OpenLLM, LocalAI, llamafiles, GPT4All)안녕하세요!!제 포스팅에서는 그동안 오픈소스 llm을 크게 2가지 방법으로 시도해보았었습니다~~ 1. 직접 huggingface에서 모델 다운받아 실행하기2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premisdrfirst.tistory.com 지난 포스팅에서 여러 llm 서빙 모델에 대하여 알아보았는데요!!오늘은 이 중 하나인 vllm.. 2024. 10. 8.
구글!! 쌀아있네!! 오픈소스 gen-AI gemma2의 놀라운 한국어 실력 (feat. ollama) https://www.digitaltoday.co.kr/news/articleView.html?idxno=523053 구글 딥마인드, AI 모델 '젬마2' 공개…최대 270억개 파라미터 - 디지털투데이 (DigitalToday)[디지털투데이 AI리포터] 구글 딥마인드가 구글 I/O에서 공개됐던 최첨단 성능의 언어 모델 젬마2(Gemma 2)를 발표했다고 28일(현지시간) 일본 IT미디어가 전했다. 지난 2월 발표된 젬마는 20억개의 파www.digitaltoday.co.kr 24년 6월말!! 구글에서는 Gemma2 모델을 공개했습니다!! Gemma2는 이전 모델에서 한 단계 더 발전한 성능을 자랑하며, 자연어 처리 능력, 머신러닝 효율성, 그리고 실세계 응용 가능성 측면에서 큰 도약을 이뤘다고 자랑하는데.. 2024. 8. 29.
728x90

티스토리툴바