본문 바로가기

전체 글465

이더리움 지갑 주소를 ~~~.eth로 만들기!! (feat ENS) 안녕하세요!! 해시암호기반의 복잡한 이더리움 지갑주소!!! 기억하기 어려우시지요!? 그런데!! ENS 서비스를 이용하면 이메일 주소와 같이 지갑주소를 변환할수 있다는것 아시나요!? 오늘은 함께 이 ENS에 대하여 알아보고, 실제로 지갑을 기억하기 쉬운 인간의 언어로 바꾸어봅시다!! ENS란 무엇인가? ENS는 Ethereum Name Service의 약자로, 이더리움 블록체인 기반의 이름 지정 서비스라는 뜻!! 읽을 수 있는 이름 (예: yourname.eth)을 기계가 읽을 수 있는 암호화폐 지갑 주소 (예: 0x1234567890ABCDEF1234567890ABCDEF123456)와 연결 웹사이트, 분산형 애플리케이션(dApps), 메타데이터 등의 다른 리소스를 연결 ENS의 주요 기능 간편한 주소 .. 2024. 2. 19.
OpenAI !! 새로운 text 임베딩 모델 출시 (text-embedding-3) OpenAI에서 저렴한 가격의 새로운 텍스트 임베딩 모델이 출시되어 소개포스팅을 작성하고자합니다! 1. text-embedding-3-small : 작고 효율적인모델 새로운 text-embedding-3-small 모델 : 2022년 12월 출시된 text-embedding-ada-002 모델보다 성능이 크게 향상된 작고 효율적인 텍스트 임베딩 모델 더 강력한 성능: 다국어 검색 벤치마크(MIRACL)에서는 평균 점수가 31.4%에서 44.0%로, 영어 작업 벤치마크(MTEB)에서는 평균 점수가 61.0%에서 62.3%로 증가 더 저렴한 가격: 이전 모델인 text-embedding-ada-002에 비해 5배 저렴한 가격(1,000 토큰당 $0.00002)으로 제공 * 이전 모델인 text-embeddi.. 2024. 2. 17.
[OpenAI] GPT-3.5-turbo 가격인하!! (24.2.16~) 안녕하세요!! OpenAI에서 GPT3.5 모델에 대한 업데이트와 가격인하 공지가 되었습니다!!!! 해당 내용을 알아보아요~!^^ 새로운 GPT-3.5 Turbo 모델 출시 및 가격 인하 안내 - 2월 초 OpenAI는 최신 GPT-3.5 Turbo 모델인 gpt-3.5-turbo-0125를 출시 - 새로운 모델의 입력 가격은 1K 토큰당 50% 감소하여 $0.0005, 출력 가격은 25% 감소하여 $0.0015 - 기존 가격은 입력 $0.001, 출력 $0.002 ) (만약 현재 사용 중인 코드에 gpt-3.5-turbo 또는 gpt-3.5-turbo-16k (고정된 모델 별칭)을 지정하고 있다면, 2024년 2월 16일 금요일에 gpt-3.5-turbo-0125 모델로 자동 업데이트되며 새로운 저렴한.. 2024. 2. 16.
[langchain공부]유로 임베딩 모델 사용하기!? (feat. OpenAI ada) 많이 사용하는 huggingface의 BERT 모델! model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask' , model_kwargs = {'device':'cpu'} , encode_kwargs = {'normalize_embeddings' : True}) 위와 같은 방식으로 로드하는데요!! 그런데,, 조금더 큰 dimension (1536, 허깅페이스는768) 에서 분석을 하고싶다 신뢰할 수 있는 모델을 사용하고싶다 검증된 서비스로 사용하고싶다!! 나는 유료의 안정적인 서비스가 필요하다. 혹은,, 나는 돈이 너무 많다~! 허깅페이스가 싫다 등등 의 사유로 유로 embedding모델을 사용하고 싶을 수 있.. 2024. 2. 13.
[langchain공부]Retriever의 고급기법 (feat. Ensemble, bm5,Sparse, dense) 1. Retriever 종류: Sparse Retriever vs Dense Retriever 1. 개념 Retriever는 대규모 텍스트 데이터에서 질의와 관련된 정보를 검색하는 데 사용되는 모델 2가지로 구분 2. Sparse Retriever : 텍스트 데이터를 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 문서 검색 >> TF-IDF와 같은 기법으로 텍스트 데이터를 벡터화 진행 장점: 효율적인 메모리 사용 빠른 검색 속도 높은 확장성 질문과 같은 단어만 선택!!!! 단점: 낮은 정확도 (but 같은 직접적 단어만 고를떄는 좋다) 의미론적 정보 손실 3. Dense Retriever : 텍스트 데이터를 임베딩 벡터로 변환하여 저장, 질의 벡터와의 유사성을 기반으로 관련 문서 검색 >> BE.. 2024. 2. 10.
[langchain공부] Input 텍스트가 너무 길때~~ Text Spitter!? (feat. RecursiveCharacterTextSplitter) 내가 질문한 내용을!! GPT에 보내고 답변하기!! RAG의 기본입니다!! from langchain_openai import ChatOpenAI llm = ChatOpenAI(openai_api_key = '{내api키}') my_text = """ 구글이 새로운 영상 생성형 인공지능(AI) 모델을 공개했다. 챗GPT로 시장의 게임 체인저가 된 오픈AI에 가려졌던 구글의 AI 역량이 다시 주목받고 있다. 지난달 25일 구글은 영상 생성 AI ‘루미에르’를 선보였다. 기존에 공개된 영상 생성 AI에 비해 진보된 성능이란 평가를 받으며 학계와 업계의 관심을 끌고 있다. 루미에르에는 구글이 개발한 신기술인 ‘시공간 U-넷’이 적용됐다. 영상 전체를 한 번에 처리하는 기술이다. 기존의 영상 생성 AI는 시간-.. 2024. 2. 9.