Tokenizer ChatGPT

Tokenizer per LLM

Conta il numero esatto di token che il tuo testo usa per i modelli OpenAI, con una vista dei token a colori. Tutto avviene nel tuo browser con tiktoken; il tuo testo non viene mai caricato.

Il Tokenizer ChatGPT conta esattamente quanti token il tuo testo usa per i modelli OpenAI. Incolla un testo qualsiasi e restituisce il conteggio preciso dei token — lo stesso numero che l'API ti addebita — più una vista token per token a colori così puoi vedere dove il modello divide le tue parole. Funziona interamente nel tuo browser con tiktoken (la codifica byte-pair di OpenAI), quindi è esatto, istantaneo, gratuito e privato.

Cos'è un token?

Un token è l'unità che i modelli OpenAI leggono e su cui vengono fatturati. Di solito è un breve frammento di parola — a volte un'intera parola corta, a volte pochi caratteri, a volte solo uno spazio più l'inizio di una parola. Una regola empirica approssimativa per l'inglese è 1 token ≈ 4 caratteri ≈ 0,75 parole, ma l'unico modo accurato per saperlo è eseguire il vero encoder, che è ciò che fa questo strumento.

Quale codifica usa il mio modello?

I modelli OpenAI condividono un numero ristretto di codifiche. Scegli quella che corrisponde al tuo modello:

CodificaModelliUso tipico
o200k_baseserie GPT-5, GPT-4.1, o1 / o3 / o4, modelli o200k precedentiModelli chat e di ragionamento attuali; il tokenizer più recente ed efficiente
cl100k_baseGPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3, text-embedding-ada-002Modelli chat della generazione precedente e i modelli di embedding attuali

Se non sei sicuro, usa o200k_base: alimenta i modelli attuali della serie GPT-5, oltre a GPT-4.1, ai modelli di ragionamento della serie o e ai modelli o200k precedenti.

Come contare i tuoi token

  1. Incolla o digita il tuo testo nella casella.
  2. Scegli la famiglia di modelli (o200k_base per serie GPT-5 / GPT-4.1 / serie o, cl100k_base per GPT-4 / GPT-3.5 Turbo).
  3. Leggi il conteggio dei token in alto, insieme a caratteri, parole e caratteri per token.
  4. Osserva i chip colorati qui sotto per vedere esattamente come il testo viene diviso in token; attiva Mostra ID token per vedere l'id intero grezzo di ogni token.
  5. Fai clic su Copia conteggio per copiare solo il numero, oppure su Copia ID token per copiare l'intera lista di id.

Esempio: input → output

Input:

Tokenization is fun!

Con o200k_base questo si codifica in 5 token: Token, ization, is, fun, !. Nota che "Tokenization" si divide in due token e che lo spazio iniziale fa parte dei token is e fun — è per questo che i conteggi dei token non coincidono con i conteggi delle parole.

Perché contare i token?

  • Costo: OpenAI fattura per token, quindi il conteggio dei token è il tuo vero fattore di costo — molto più accurato del conteggio dei caratteri.
  • Limiti di contesto: Ogni modello ha una finestra di contesto massima misurata in token. Contare prima ti dice se un prompt più la risposta prevista rientreranno.
  • Prompt engineering: Ridurre un prompt da 1.200 a 800 token è un miglioramento misurabile che puoi vedere in tempo reale mentre modifichi.

È esatto e privato?

Sì a entrambe le cose. Lo strumento usa le vere codifiche tiktoken di OpenAI (o200k_base e cl100k_base) tramite la libreria open source gpt-tokenizer — non una stima "dividi per quattro" — quindi il conteggio corrisponde all'API. Il codice del tokenizer viene caricato una sola volta da una CDN pubblica e poi funziona sul tuo dispositivo; il testo che incolli non viene mai caricato, il che lo rende sicuro per prompt privati e dati riservati.

Una piccola nota sulla vista a colori: alcuni token sono sequenze di byte parziali di un carattere multibyte (comune con emoji e scritture giapponesi o altre non latine). Da solo, un tale frammento mostra un carattere sostitutivo �, ma i token vicini ricostruiscono comunque il testo corretto e il conteggio resta esatto.

Gestito da

unbounded pioneering inc
Timothe AI

Tools by Timothe AI è una suite di strumenti gratuiti sviluppati e gestiti da unbounded pioneering inc, l'azienda dietro Timothe AI.

Ryosuke Suzuki
Ryosuke SuzukiFondatore e CEO

Fondatore e CEO di Unbounded Pioneering Inc., l'azienda dietro Timothe AI, ed esperto di machine learning e di sviluppo di prodotti IA. Ha iniziato la sua carriera nella ricerca sul machine learning in un laboratorio universitario, per poi progettare e realizzare prodotti su larga scala come software engineer in PLAID, Rakuten e Recruit, guidando al contempo lo sviluppo di nuovi business. Oggi è specializzato in IA generativa e prodotti IA, lavora sia sul fronte ingegneristico sia su quello dello sviluppo del business ed è inventore riconosciuto di più brevetti concessi nel campo delle tecnologie web.

Inventore riconosciuto dei brevetti concessi JP6887648 e JP7480958 · Brevetto in corso di registrazione per la tecnologia Timothe AI

Contattaci

Grazie per averci contattato

Grazie per l'interesse nella nostra azienda. Un membro del nostro team ti risponderà entro un giorno lavorativo.

In cosa possiamo aiutarti

  • Adottare e sfruttare al meglio Timothe AI
  • Una demo o una prova di Timothe AI
  • L'adozione dell'AI in generale (anche oltre il nostro prodotto)
  • Alleanze e partnership
  • Qualsiasi altra domanda

Parla con noi online

Puoi anche prenotare un incontro direttamente dal calendario.

Scegli un modello o scrivi il tuo messaggio.