Was ist der AI-Crawler robots.txt-Generator?
Ein kostenloses, browserbasiertes Tool, das einen robots.txt-Block für KI- und Antwort-Engine-Crawler erstellt. Schalten Sie für jeden Bot „Zulassen“ oder „Blockieren“ um – GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider und mehr – und kopieren Sie eine fertige robots.txt-Datei zum Einfügen. Jeder Crawler hat eine einzeilige Notiz darüber, was er tut, damit Sie bewusst entscheiden können. Alles läuft lokal in Ihrem Browser, es wird also nichts hochgeladen.
Blockieren Sie das KI-Training, während Sie in den Antwort-Engines bleiben
Nicht alle KI-Crawler machen dasselbe. Trainings-Crawler (GPTBot, ClaudeBot, CCBot, Google-Extended) sammeln Daten, um Modelle zu trainieren, während Antwort-Engine-Indexer (OAI-SearchBot, PerplexityBot) Seiten indizieren, damit diese Ihre Website anzeigen und zitieren können. Eine gängige Haltung besteht darin, Schulungen zu blockieren, aber die Indizierung zuzulassen – und so den Empfehlungsverkehr von der ChatGPT-Suche und Perplexity fernzuhalten. Dieses Tool verwendet standardmäßig genau das und Sie können jeden Bot anpassen.
Wie man es benutzt
- Wählen Sie für jeden KI-Crawler „Zulassen“ oder „Blockieren“. Lesen Sie den einzeiligen Hinweis, wenn Sie sich nicht sicher sind.
- Verwenden Sie „Alle zulassen“ / „Alle blockieren“, um von einer Grundlinie aus zu beginnen, und nehmen Sie dann eine Feinabstimmung vor.
- Kopieren Sie die generierte robots.txt und fügen Sie sie der Datei im Stammverzeichnis Ihrer Website hinzu (https://example.com/robots.txt). Hängen Sie die Gruppen an, wenn Sie bereits über eine robots.txt-Datei verfügen.
Häufige Anwendungsfälle
- Blockieren von GPTBot, ClaudeBot und CCBot, damit Ihre Inhalte nicht für das KI-Training verwendet werden.
- Erlauben Sie OAI-SearchBot und PerplexityBot, Ihre Website in Antwort-Engines sichtbar zu halten.
- Überprüfen Sie die vollständige Liste der benannten KI-Crawler, bevor Sie eine Website-weite Richtlinie festlegen.
