본문 바로가기

전체 글463

Hugging Face Transformers: Pipeline vs. AutoModel, 뭘 사용할까!?? 저의 포스팅에서 지속적으로 huggingface의 오픈 소스모델을 바탕으로 테스트를 진행해보고 있습니다~~ 2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom)airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하drfirst.tistory.com2024.05.29 - [데이터&AI/LLM] - llama3 의 모델을 api로 호출하기.. 2024. 6. 22.
llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm)2024.04.19 - [데이터&AI/LLM] - llama3 무료로 쉽게 사용해보기 (feat. huggingface) llama3 무료로 쉽게 사용해보기 (feat. huggingface)우리시간 지난 밤(2024년 4월 18~19일 밤) 메타에서는 라마3를 오픈소스를 공개drfirst.tistory.com 그런데!! 이제는 내 서버에서!!!한국어를 잘하는 llama3 오픈소스 모델을 사용할수 있게되었습니다!! 바로.. 2024. 6. 21.
OnPremise LLM을 Langchain으로 연결하기 (feat. Solar) 안녕하세여!! 지난 포스팅을 통해서 Huggingface를 통해 다운받은 Solar 모델을 구현시키는 방법을 알아보았습니다 2024.06.13 - [데이터&AI/LLM] - Solar 오픈소스 모델 활용해서 ON-premise LLM 만들기 Solar 오픈소스 모델 활용해서 ON-premise LLM 만들기안녕하세요!지난 포스팅에서는 Upstage의 솔라 모델을 API로 활용하는 법을 배웠었는데요!2024.05.16 - [데이터&AI/LLM] - upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의) upstage의 llm 모델 Solardrfirst.tistory.com  이번포스팅에서는 해당 모델을 langchain 기반으로 가동시키는 작업을 진행해 보겠습니다!!코드가 아.. 2024. 6. 14.
Solar 오픈소스 모델 활용해서 ON-premise LLM 만들기 안녕하세요!지난 포스팅에서는 Upstage의 솔라 모델을 API로 활용하는 법을 배웠었는데요!2024.05.16 - [데이터&AI/LLM] - upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의) upstage의 llm 모델 Solar 사용하기!! (feat. 성킴 대표님 강의)2024.05.16 - [데이터&AI/LLM] - [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!! [2024.5.16]SNU x Upstage LLM 세션① : 컴공과 교수님들의 강의!!https://kiise.or.kr/conference/conf/147/ 한국정보과학회 - 학drfirst.tistory.com 오늘은 Upstage에서 개발한 SOLAR-10.. 2024. 6. 13.
[STT] 녹음파일에서 텍스트 추출하기!! by OpenAI Whisper(feat python) 최근 몇 년 동안, 음성 인식 기술의 발전은 놀라웠습니다.다양한 응용 프로그램에서 음성을 텍스트로 변환하는 기능즉!! STT (Speech-To-Text)는 많은 편리함을 제공하고 있습니다.특히 OpenAI의 Whisper는 그 성능이 어마어마한데요!!그래서를  Python으로 해당 모델을 활용, 녹음 파일로부터 텍스트를 추출하는 방법을 알아보아요~~.Whisper란 무엇인가요?Whisper는 OpenAI에서 개발한 음성 인식 모델로,다양한 언어와 억양을 인식할 수 있는 강력한 도구입니다.이 모델은 높은 정확도를 자랑하며, 특히 다양한 환경에서 녹음된 음성을 처리하는 데 탁월한 성능을 발휘합니다.또한 언어를 자동으로 감지하여 텍스트로 전환해줍니다!!! Python Code!오늘의 작업을 위해서는!!파이썬.. 2024. 6. 8.
데이터 분석가를 위한 쉬운 docker : 편리한 notebook 환경 만들기!! 데이터 분석의 기본 Tool 이 된 python 그리고 Jupyter Notebook하지만!! 노트북을 바꾸거나, 뭐할떄마다 주피터 노트북 설정하는데는 많은 어려움이있었습니다!! 대략적인 문제점은 아래아 같았는데요!! 1. 환경 설정 및 의존성 관리의 어려움 :  로컬 환경에서 여러 프로젝트를 진행하면서 서로 다른 버전의 라이브러리를 설치하다 보면 의존성 충돌 문제가 발생합니다2. 재현성 및 일관성 문제 : 로컬 환경에서 작업할 경우, 동일한 코드가 다른 머신에서는 제대로 작동하지 않을 수 있습니다. 이는 각 머신의 환경 설정이 다르기 때문입니다3. 보안 및 데이터 관리 문제 : 데이터 분석 프로젝트에서는 종종 민감한 데이터를 다룹니다. 로컬 환경에 이러한 데이터를 저장하고 처리할 경우, 데이터 유출이나.. 2024. 6. 6.