Token

Em uma fraseToken é o pedaço de texto que a IA lê de cada vez. Em português, cada pedaço tem em média 3 a 4 letras.

Analogia

Lembra de quando aprendeu a ler separando sílabas? A IA também lê em pedaços, só que os pedaços dela não são sílabas: são os trechos de letras que mais apareciam nos textos usados para treiná-la. Palavras comuns viram um pedaço só; palavras raras viram vários.

Na prática

• O limite da conversa é contado em tokens. Cada modelo aguenta um número máximo de tokens por conversa (veja janela de contexto).
• O preço também. Planos pagos e serviços para empresas cobram por token lido e escrito.
• Português gasta mais tokens que inglês para dizer a mesma coisa, porque o “dicionário” de pedaços foi montado com muito mais texto em inglês.

Erro comum

Achar que a IA conta palavras. Ela não conta. Por isso pedidos como “escreva exatamente 100 palavras” ou “quantas letras tem esta frase?” costumam sair errados: a IA nunca viu as letras, só os pedaços.

Teste rápido · 1 minuto

Abra o contador de tokens da OpenAI (gratuito). Cole uma frase em português e a mesma frase em inglês. Compare quantos pedaços cada uma vira e onde as palavras foram cortadas.

Cada modelo tem o seu próprio “dicionário” de tokens: a mesma frase vira pedaços diferentes no Claude, no ChatGPT e no Gemini.