Cos'è il generatore robots.txt del crawler AI?
Uno strumento gratuito basato su browser che crea un blocco robots.txt per i crawler dell'intelligenza artificiale e dei motori di risposta. Attiva o disattiva l'autorizzazione o il blocco per ciascun bot (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider e altri) e copia un file robots.txt pronto da incollare. Ogni crawler ha una nota di una riga su ciò che fa, così puoi decidere deliberatamente. Tutto viene eseguito localmente nel tuo browser, quindi nulla viene caricato.
Blocca la formazione dell'IA rimanendo nei motori di risposta
Non tutti i crawler AI fanno la stessa cosa. I crawler di addestramento (GPTBot, ClaudeBot, CCBot, Google-Extended) raccolgono dati per addestrare i modelli, mentre gli indicizzatori del motore di risposta (OAI-SearchBot, PerplexityBot) indicizzano le pagine in modo che possano emergere e citare il tuo sito. Una posizione comune è quella di bloccare la formazione ma consentire l'indicizzazione, mantenendo il traffico di riferimento dalla ricerca ChatGPT e da Perplexity. Questo strumento ha per impostazione predefinita esattamente questo e puoi modificare qualsiasi bot.
Come usarlo
- Per ciascun crawler AI, scegli Consenti o Blocca. Leggi la nota di una riga se non sei sicuro.
- Utilizzare Consenti tutto/Blocca tutto per iniziare da una linea di base, quindi ottimizzare.
- Copia il file robots.txt generato e aggiungilo al file nella radice del tuo sito (https://example.com/robots.txt). Aggiungi i gruppi se hai già un file robots.txt.
Casi d'uso comuni
- Bloccare GPTBot, ClaudeBot e CCBot in modo che i tuoi contenuti non vengano utilizzati per la formazione sull'intelligenza artificiale.
- Consentire a OAI-SearchBot e PerplexityBot di mantenere il tuo sito visibile nei motori di risposta.
- Revisione dell'elenco completo dei crawler AI nominati prima di decidere una politica a livello di sito.
