Gemini Tokenizer
Der Gemini Tokenizer zählt die exakte Anzahl der Token, die Ihr Text für die Gemini-Modelle von Google verbraucht, mithilfe der offiziellen countTokens-API von Google. Fügen Sie Ihren Text ein, wählen Sie ein Modell und erhalten Sie eine präzise Zählung statt einer Schätzung.
Warum keinen GPT-Tokenizer für Gemini verwenden?
Gemini verwendet einen eigenen Tokenizer, der sich von denen von OpenAI und Anthropic unterscheidet. Das Zählen von Gemini-Token mit tiktoken (dem GPT-Tokenizer) ergibt die falsche Zahl, und Google liefert keinen öffentlichen, clientseitigen Gemini-Tokenizer aus. Die einzige präzise Zählung stammt vom countTokens-Endpunkt von Google selbst — und genau den ruft dieses Tool auf.
So zählen Sie Gemini-Token
- Fügen Sie Ihren Text ein oder tippen Sie ihn.
- Wählen Sie das Gemini-Modell, das Sie anvisieren.
- Wählen Sie Token zählen, um die exakte Zählung für dieses Modell zu erhalten.
Unterstützte Gemini-Modelle
Die Modellliste ist konfigurationsgesteuert, sodass weitere Gemini-Modelle ohne Codeänderungen hinzugefügt werden können.
Beispiel
The quick brown fox jumps over the lazy dog. zählt bei Gemini rund 10 Token. Nicht-englischer Text und lange Dokumente verbrauchen mehr Token — nutzen Sie die Live-Anzeige der Zeichen pro Token, um Ihren eigenen Text einzuschätzen.
Einschränkungen
- Eine kostenlose Anmeldung ist erforderlich; das Zählen von Token kostet keine Credits.
- Keine farbige Aufschlüsselung pro Token: Der Tokenizer von Google ist nicht öffentlich, daher gibt dieses Tool nur die exakte Zählung zurück. Für eine visuelle Token-Ansicht verwenden Sie den ChatGPT Tokenizer.
- Die Zählungen sind modellspezifisch — wechseln Sie das Modell, um zu vergleichen.
