Cos'è questo strumento di controllo dell'accesso del crawler AI?
Uno strumento online gratuito che verifica se i principali crawler AI riescono a raggiungere il tuo sito. Inserisci l'URL del sito e questo recupererà il file robots.txt, analizzerà le regole e segnalerà lo stato Consentito/Bloccato per ciascun bot AI (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended e Meta-ExternalAgent) rispetto ai percorsi chiave (predefinito "/"). Evidenzia i bot del motore di risposta (ricerca AI) che sembrano bloccati per sbaglio. Solo l'URL inserito viene recuperato dal nostro server, necessario per aggirare le restrizioni CORS del browser.
Perché è importante per AEO/GEO
I motori di risposta come ChatGPT, Perplexity e Google AI Overviews possono citare solo contenuti provenienti da siti che i loro crawler sono autorizzati a recuperare. Un singolo Disallow troppo ampio nel file robots.txt può tenere silenziosamente le tue pagine fuori dalle risposte dell'intelligenza artificiale. Questo controllo rende evidenti i blocchi accidentali prima che ti costino visibilità.
Come usarlo
- Inserisci la radice del sito (ad esempio https://example.com). Aggiungiamo /robots.txt automaticamente.
- Facoltativamente elenca i percorsi chiave (uno per riga), come /blog/ o /products/. Il valore predefinito è /.
- Premi "Controlla crawler AI" per vedere lo stato Consentito/Bloccato di ciascun bot per percorso.
- Esamina il banner di avviso per i bot del motore di risposta bloccati: questi sono gli errori più probabili.
Casi d'uso comuni
- Conferma che OAI-SearchBot, PerplexityBot e Google-Extended possono raggiungere i tuoi contenuti per la ricerca AI.
- Verifica di aver bloccato i bot di addestramento (ad esempio GPTBot) pur consentendo i bot del motore di risposta.
- Controllare una modifica del file robots.txt prima che nasconda accidentalmente le pagine di destinazione principali dalle risposte dell'intelligenza artificiale.
