openai29 Hugging Face Transformers: Pipeline vs. AutoModel, 뭘 사용할까!?? 저의 포스팅에서 지속적으로 huggingface의 오픈 소스모델을 바탕으로 테스트를 진행해보고 있습니다~~ 2024.06.21 - [데이터&AI/LLM] - llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom) llama3 한국어 모델 On-premise로 활용하기 (feat. Bllossom)airllm으로 llama3를 썻다가 메모리 부족 문제로 실행하지 못하는 문제를 겪었었습니다!!2024.05.07 - [데이터&AI/LLM] - 내 서버에서 llama3 70B 모델 사용하기 (feat. airllm) 내 서버에서 llama3 70B 모델 사용하drfirst.tistory.com2024.05.29 - [데이터&AI/LLM] - llama3 의 모델을 api로 호출하기.. 2024. 6. 22. [STT] 녹음파일에서 텍스트 추출하기!! by OpenAI Whisper(feat python) 최근 몇 년 동안, 음성 인식 기술의 발전은 놀라웠습니다.다양한 응용 프로그램에서 음성을 텍스트로 변환하는 기능즉!! STT (Speech-To-Text)는 많은 편리함을 제공하고 있습니다.특히 OpenAI의 Whisper는 그 성능이 어마어마한데요!!그래서를 Python으로 해당 모델을 활용, 녹음 파일로부터 텍스트를 추출하는 방법을 알아보아요~~.Whisper란 무엇인가요?Whisper는 OpenAI에서 개발한 음성 인식 모델로,다양한 언어와 억양을 인식할 수 있는 강력한 도구입니다.이 모델은 높은 정확도를 자랑하며, 특히 다양한 환경에서 녹음된 음성을 처리하는 데 탁월한 성능을 발휘합니다.또한 언어를 자동으로 감지하여 텍스트로 전환해줍니다!!! Python Code!오늘의 작업을 위해서는!!파이썬.. 2024. 6. 8. LangChain 캐싱: GPT비용을 줄이고 속도는 높이기!!(feat python) GPT한태 똑같은 질문을 여러사람이 여러번 할수 있지 않을까요?? 그런데 그때마다 GPT API를 호출한다면??매번 GPT 답변받느라 속도도 느려지고, API를 계속 호출하느라 비용도 비싸겠찌요? 이를 대비해서!!LangChain의 caching 기능을 사용하면됩니다!!. 캐싱이란 무엇인가요?캐싱은 이전에 계산된 결과를 저장해두고, 동일한 입력이 들어왔을 때 다시 계산하지 않고 저장된 결과를 재사용하는 기술입니다. LangChain에서 캐싱은 LLM 호출 결과를 저장하고, 동일한 프롬프트에 대해서는 LLM을 다시 호출하지 않고 캐시된 결과를 반환합니다.LangChain 캐싱 사용 방법LangChain의 캐싱은 크게 2가지 방법으로 사용 가능합니다!! 방법1. 메모리캐시 사용from langchain... 2024. 5. 28. [HyperCLOVA] 문장을 벡터로 임베딩하기 (with Python) 2024.02.13 - [데이터&AI/langchain] - [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) [langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada)많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하drfirst.tistory.com 예전 포스팅에서 OpenAI의 API를 통하여 문장을 임베딩.. 2024. 5. 23. 이전 1 2 3 4 ··· 8 다음
