728x90 tiktoken1 완전쉽게!!! GPT의 Token 이해하기 (with Python) GPT를 사용할떄, 요금은 Token 단위로 계산이 됩니다!! 그런, 토큰이 뭘까요??? 여러 글들을 찾아보면, 아래와 같이 표현합니다.토큰이란? GPT 모델에서의 토큰(token)은 매우 간단한 개념이다. 일상 언어에서 우리가 사용하는 단어나 문장 부호와 같은 것을 생각하면 된다.GPT 모델에서는 이러한 단어나 문장 부호를 더 작은 단위로 쪼갠 것을 토큰이라고 부른다. 그런데, 요렇게 글로 이해하는것 보다, 파이썬 코드 하나로 이해하면 편합니다!!한번 볼까요? 토큰 "1" 은 어떤 글자로 매칭이 될까요?아래 코드로 확인해봅시다!import tiktokenencoding = tiktoken.encoding_for_model('gpt-3.5-turbo')encoding.decode([1]) 1은 바로 .. 2024. 5. 20. 이전 1 다음 728x90
