Tokenizer ChatGPT

Tokenizadores de LLM

Conte o número exato de tokens que o seu texto usa nos modelos da OpenAI, com uma visualização de tokens colorida. Tudo roda no seu navegador com tiktoken; o seu texto nunca é enviado.

O Tokenizer ChatGPT conta exatamente quantos tokens o seu texto usa nos modelos da OpenAI. Cole qualquer texto e ele retorna a contagem precisa de tokens — o mesmo número que a API cobra de você — mais uma visão token a token colorida para que você veja onde o modelo divide as suas palavras. Roda inteiramente no seu navegador com tiktoken (a codificação byte-pair da própria OpenAI), então é exato, instantâneo, gratuito e privado.

O que é um token?

Um token é a unidade que os modelos da OpenAI leem e pela qual são cobrados. Costuma ser um pequeno pedaço de palavra — às vezes uma palavra curta inteira, às vezes alguns caracteres, às vezes apenas um espaço mais o início de uma palavra. Uma regra prática aproximada para o inglês é 1 token ≈ 4 caracteres ≈ 0,75 palavra, mas a única forma precisa de saber é executar o codificador real, que é o que esta ferramenta faz.

Qual codificação o meu modelo usa?

Os modelos da OpenAI compartilham um número pequeno de codificações. Escolha a que corresponde ao seu modelo:

CodificaçãoModelosUso típico
o200k_basesérie GPT-5, GPT-4.1, o1 / o3 / o4, modelos o200k anterioresModelos de chat e raciocínio atuais; o tokenizer mais novo e eficiente
cl100k_baseGPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3, text-embedding-ada-002Modelos de chat da geração anterior e os modelos de embedding atuais

Se estiver na dúvida, use o200k_base — ele alimenta os modelos atuais da série GPT-5, além do GPT-4.1, dos modelos de raciocínio da série o e dos modelos o200k anteriores.

Como contar os seus tokens

  1. Cole ou digite o seu texto na caixa.
  2. Escolha a família de modelos (o200k_base para série GPT-5 / GPT-4.1 / série o, cl100k_base para GPT-4 / GPT-3.5 Turbo).
  3. Leia a contagem de tokens no topo, junto com caracteres, palavras e caracteres por token.
  4. Observe os chips coloridos abaixo para ver exatamente como o texto é dividido em tokens; ative Mostrar IDs de token para ver o id inteiro bruto de cada token.
  5. Clique em Copiar contagem para copiar apenas o número, ou em Copiar IDs de token para copiar a lista completa de ids.

Exemplo: entrada → saída

Entrada:

Tokenization is fun!

Com o200k_base isso é codificado em 5 tokens: Token, ization, is, fun, !. Observe que "Tokenization" se divide em dois tokens e que o espaço inicial faz parte dos tokens is e fun — é por isso que as contagens de tokens não coincidem com as contagens de palavras.

Por que contar tokens?

  • Custo: a OpenAI cobra por token, então a contagem de tokens é o seu verdadeiro fator de custo — muito mais precisa do que contar caracteres.
  • Limites de contexto: todo modelo tem uma janela de contexto máxima medida em tokens. Contar primeiro diz se um prompt mais a resposta esperada vão caber.
  • Engenharia de prompt: reduzir um prompt de 1.200 para 800 tokens é um ganho mensurável que você vê ao vivo enquanto edita.

É exato e privado?

Sim para ambos. A ferramenta usa as codificações tiktoken reais da OpenAI (o200k_base e cl100k_base) por meio da biblioteca open source gpt-tokenizer — não uma estimativa de "dividir por quatro" — então a contagem corresponde à API. O código do tokenizer é carregado uma única vez de uma CDN pública e depois roda no seu dispositivo; o texto que você cola nunca é enviado, o que o torna seguro para prompts privados e dados confidenciais.

Uma pequena observação sobre a visão colorida: alguns tokens são sequências de bytes parciais de um caractere multibyte (comum com emoji e escritas japonesas ou outras não latinas). Sozinho, esse fragmento mostra um caractere de substituição �, mas os tokens vizinhos ainda reconstroem o texto correto e a contagem permanece exata.

Operado por

unbounded pioneering inc
Timothe AI

O Tools by Timothe AI é um conjunto de ferramentas gratuitas desenvolvidas e operadas pela unbounded pioneering inc, a empresa por trás do Timothe AI.

Ryosuke Suzuki
Ryosuke SuzukiFundador e CEO

Fundador e CEO da Unbounded Pioneering Inc., a empresa por trás do Timothe AI, e especialista em machine learning e desenvolvimento de produtos de IA. Começou a carreira na pesquisa de machine learning em um laboratório universitário e, depois, projetou e construiu produtos de grande escala como engenheiro de software na PLAID, na Rakuten e na Recruit, ao mesmo tempo em que impulsionava o desenvolvimento de novos negócios. Hoje é especializado em IA generativa e produtos de IA, atua tanto na engenharia quanto no desenvolvimento de negócios e é inventor nomeado em várias patentes concedidas na área de tecnologia web.

Inventor nomeado nas patentes concedidas JP6887648 e JP7480958 · Patente pendente para a tecnologia Timothe AI

Fale conosco

Obrigado por entrar em contato

Agradecemos o seu interesse em nossa empresa. Um membro da nossa equipe entrará em contato com você em até um dia útil.

Em que podemos ajudar

  • Adotar e aproveitar ao máximo a Timothe AI
  • Uma demonstração ou teste da Timothe AI
  • Adoção de IA em geral (inclusive além do nosso produto)
  • Alianças e parcerias
  • Qualquer outra dúvida

Fale conosco online

Você também pode agendar uma reunião diretamente pelo calendário.

Escolha um modelo ou escreva sua própria mensagem.