챗GPT 토큰계산기 토큰량 어느정도인지 확인하는 방법

챗GPT를 쓰다보면 토큰이라는 개념이 나옵니다.

블록체인 암호화폐에서도 토큰이라는 개념이 나오는데 그 개념과는 약간 다른 것 같네요.

어쨌든 일반유저의 경우에는 크게 상관없지만 API 를 쓰는 유저들은 토큰에 따라 과금이 이루어지기 때문에 토큰량이 어느 정도인지 확인하는 방법에 대해서 토큰계산기를 통해 알아보도록 하겠습니다.

토큰계산기

Tiktoken Calculator - a Hugging Face Space by JacobLinCool

 

일단 이 토큰계산기에 들어가보면 다음과 같은 화면을 볼 수 있습니다.

토큰계산기 화면구성

누군가 정성스럽게 만든 것 같습니다.

왼쪽에 인풋을 넣으면 아웃풋으로 토큰수를 계산해주는 심플한 UI를 가지고 있어서 누구나 들어가보기만 하면 바로 사용이 가능할 것 같네요.

입력을 해보니 영어의 경우에는 비교적 규칙을 알기가 쉬운 것 같습니다.

소문자로만 적으면 짧은 단어의 경우에는 많은 경우 1토큰을 반환하네요.

그리고 대문자가 들어가면 2토큰을 반환하는 것 같습니다.

물론 제가 입력한 단어에 한해서 그러니 다른 단어를 입력해서 다른 값이 나올 수도 있을 것 같습니다.

한글의 경우에는 살짝 헷갈립니다.

일단 영어단어보다는 훨씬 많은 토큰수를 반환합니다.

안녕하세요를 입력하니 6을 반환하네요.

어떤 논리인지는 파악이 어렵습니다.

반응형

챗GPT 토큰계산기 토큰량 어느정도인지 확인하는 방법

앞으로 서술하는 내용은 정확하지 않을 수 있습니다.

일단 영어의 경우는 대문자를 어느 정도 쓰는지에 따라 다르겠지만 소문자만 쓸 경우에는 단어수보다 약간 많은 토큰수를 반환하는 것 같습니다.

그리고 한글의 경우에는 글자수보다 조금 많은 토큰수를 반환하는 것 같습니다.

정확한 토큰수를 계산하기 위해서는 사용하는 AI 엔진을 설명하고 실제로 자료를 입력해야 알겠네요.

하지만 제가 처음에 알려고 했던 대략적으로 토큰량이 어느 정도인지 확인하려면 한글은 글자수, 그리고 영어의 경우에는 단어수를 기본으로 해서 조금 더 많다고 생각하면 될 것 같습니다.

이것은 정말 어림짐작일 뿐이지 실제로 돈이 들어가는 계산일 경우에는 정확한 계산을 통해서 해야할 것 같습니다.

토큰값이 많이 내려갔다고는 하더라도 챗GPT의 특성상 사용자가 늘어날 경우 감당하지 못하는 비용이 나올 수도 있기 때문에 비용이 들어갈 때는 더 주의하여야 할 것 같네요.