Gemini Tokenizer
Il Gemini Tokenizer conta il numero esatto di token usati dal tuo testo per i modelli Gemini di Google, tramite l'API ufficiale countTokens di Google. Incolla il testo, scegli un modello e ottieni un conteggio preciso invece di una stima.
Perché non usare un tokenizer di GPT per Gemini?
Gemini usa il proprio tokenizer, diverso da quello di OpenAI e di Anthropic. Contare i token di Gemini con tiktoken (il tokenizer di GPT) restituisce il numero sbagliato, e Google non distribuisce un tokenizer di Gemini pubblico lato client. L'unico conteggio preciso arriva dall'endpoint countTokens di Google — ed è ciò che questo strumento richiama.
Come contare i token di Gemini
- Incolla o digita il tuo testo.
- Scegli il modello Gemini che stai targetizzando.
- Seleziona Conta token per ottenere il conteggio esatto per quel modello.
Modelli Gemini supportati
L'elenco dei modelli è basato sulla configurazione, quindi è possibile aggiungere altri modelli Gemini senza modifiche al codice.
Esempio
The quick brown fox jumps over the lazy dog. conta all'incirca 10 token su Gemini. Il testo non in inglese e i documenti lunghi usano più token — usa la lettura live dei caratteri per token per valutare il tuo testo.
Limitazioni
- È richiesto un accesso gratuito; contare i token non costa crediti.
- Nessuna scomposizione colorata per token: il tokenizer di Google non è pubblico, quindi questo strumento restituisce solo il conteggio esatto. Per una vista visiva dei token, usa il ChatGPT Tokenizer.
- I conteggi sono specifici per modello — cambia modello per confrontare.
