Was ist dieser KI-Crawler-Zugriffsprüfer?
Ein kostenloses Online-Tool, das prüft, ob die großen KI-Crawler Ihre Website erreichen können. Geben Sie eine Website-URL ein und die Datei robots.txt wird abgerufen, die Regeln analysiert und der Status „Zulässig/Blockiert“ für jeden KI-Bot – GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended und Meta-ExternalAgent – anhand Ihrer Schlüsselpfade (Standard „/“) gemeldet. Es hebt Antwortmaschinen-Bots (KI-Suche) hervor, die versehentlich blockiert zu sein scheinen. Nur die von Ihnen eingegebene URL wird von unserem Server abgerufen. Dies ist erforderlich, um die CORS-Einschränkungen des Browsers zu umgehen.
Warum es für AEO/GEO wichtig ist
Antwort-Engines wie ChatGPT, Perplexity und Google AI Overviews können nur Inhalte von Websites zitieren, die ihre Crawler abrufen dürfen. Ein einziges zu weit gefasstes Disallow in robots.txt kann Ihre Seiten stillschweigend von KI-Antworten fernhalten. Dieser Checker macht versehentliche Blockaden sichtbar, bevor sie Ihre Sichtbarkeit beeinträchtigen.
Wie man es benutzt
- Geben Sie einen Site-Stamm ein (z. B. https://example.com). Wir fügen /robots.txt automatisch hinzu.
- Listen Sie optional Ihre Schlüsselpfade auf (einen pro Zeile), z. B. /blog/ oder /products/. Der Standardwert ist /.
- Klicken Sie auf „KI-Crawler prüfen“, um den Zulässig-/Blockiert-Status jedes Bots pro Pfad anzuzeigen.
- Überprüfen Sie das Warnbanner auf blockierte Answer-Engine-Bots – das sind die wahrscheinlichsten Fehler.
Häufige Anwendungsfälle
- Bestätigen Sie, dass OAI-SearchBot, PerplexityBot und Google-Extended Ihre Inhalte für die KI-Suche erreichen können.
- Stellen Sie sicher, dass Sie Trainings-Bots (z. B. GPTBot) blockieren und weiterhin Antwort-Engine-Bots zulassen.
- Überwachen einer robots.txt-Änderung, bevor sie versehentlich wichtige Zielseiten vor KI-Antworten verbirgt.
