토큰
AI가 언어를 처리하는 기본 단위. 단어보다 작을 수도, 여러 글자일 수도 있는 조각들로 텍스트를 쪼갠 것.
먼저 읽으면 좋은 글
AI란 무엇인가를 읽고 오시면 이 글이 더 쉽게 느껴집니다.
쉽게 말하면
ChatGPT나 클로드에 긴 글을 붙여넣어 본 적 있으신가요? AI는 그 글을 통째로 읽는 게 아니라, 레고 블록처럼 잘게 쪼개서 처리합니다. 이 조각 하나하나가 토큰입니다. “안녕하세요”라는 말도 AI 눈에는 여러 개의 토큰으로 보입니다.
좀 더 정확히
토큰은 텍스트를 AI가 처리할 수 있는 단위로 자른 것입니다. 영어에서는 대략 단어 하나가 1~2개 토큰이지만, 한국어는 같은 내용을 표현하는 데 1.5~2배 이상의 토큰이 필요합니다. 한국어가 음절 단위로 더 잘게 쪼개지기 때문입니다.
flowchart TB subgraph en["영어: I love AI"] E1["I"] --- E2["love"] --- E3["AI"] end subgraph ko["한국어: 나는 AI를 좋아해"] K1["나"] --- K2["는"] --- K3["AI"] --- K4["를"] --- K5["좋"] --- K6["아"] --- K7["해"] end
토큰의 세 가지 종류
AI와 대화할 때 토큰은 세 종류로 나뉩니다.
- 입력 토큰: 내가 AI에게 보내는 텍스트입니다. 질문, 맥락 설명, 첨부 문서 등 내가 쓰거나 붙여넣는 모든 것이 여기에 해당합니다.
- 생각 토큰 (thinking/reasoning): AI가 내부적으로 추론하는 과정에서 소모됩니다. Claude의 확장 사고(extended thinking)나 ChatGPT의 o 시리즈 같은 추론 모델에서 발생합니다. 사용자에게 보이지 않을 수도 있지만 비용은 발생합니다.
- 출력 토큰: AI가 생성하는 답변 텍스트입니다. 내가 화면에서 읽는 결과물입니다.
비용은 일반적으로 출력 > 생각 > 입력 순으로 비쌉니다. 식당에 비유하면, 주문서를 작성하는 것(입력)보다 셰프가 머릿속으로 레시피를 구상하는 것(생각)이 더 비싸고, 실제로 요리를 만들어 서빙하는 것(출력)이 가장 비쌉니다.
이걸 왜 알아야 하나요?
토큰은 비용과 용량의 기본 단위이기도 합니다. API 사용료는 입출력 토큰 수로 계산되고, AI가 한 번에 처리할 수 있는 양인 컨텍스트 윈도우도 토큰 수로 측정됩니다. 한국어로 AI를 많이 쓸수록 같은 내용도 더 많은 토큰을 소모하기 때문에, 긴 문서를 통째로 붙여넣으면 왜 비싸지는지, 한국어와 영어를 섞어 쓸 때 비용이 어떻게 달라지는지 설명이 됩니다.
직접 해보기
OpenAI의 토크나이저 페이지(platform.openai.com/tokenizer)에 같은 내용을 한국어로 한 번, 영어로 한 번 입력해보세요. 한국어 버전이 토큰을 몇 배나 더 쓰는지 숫자로 확인할 수 있습니다. 30초면 됩니다.
이모지도 넣어보세요. 하트 하나가 2~4개 토큰을 차지하는 걸 확인할 수 있습니다. 짧아 보여도 토큰은 의외로 많이 먹습니다.