O que é o gerador robots.txt do rastreador AI?
Uma ferramenta gratuita baseada em navegador que cria um bloco robots.txt para IA e rastreadores de mecanismo de resposta. Alterne entre permitir ou bloquear cada bot – GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider e mais – e copie um robots.txt pronto para colar. Cada rastreador tem uma nota de uma linha sobre o que faz para que você possa decidir deliberadamente. Tudo é executado localmente no seu navegador, portanto nada é carregado.
Bloqueie o treinamento de IA enquanto permanece nos mecanismos de resposta
Nem todos os rastreadores de IA fazem a mesma coisa. Rastreadores de treinamento (GPTBot, ClaudeBot, CCBot, Google-Extended) coletam dados para treinar modelos, enquanto indexadores de mecanismo de resposta (OAI-SearchBot, PerplexityBot) indexam páginas para que possam surgir e citar seu site. Uma postura comum é bloquear o treinamento, mas permitir a indexação – mantendo o tráfego de referência da pesquisa ChatGPT e do Perplexity. O padrão desta ferramenta é exatamente isso e você pode ajustar qualquer bot.
Como usar
- Para cada rastreador de IA, escolha Permitir ou Bloquear. Leia a nota de uma linha se não tiver certeza.
- Use Permitir todos/Bloquear todos para começar a partir de uma linha de base e, em seguida, fazer o ajuste fino.
- Copie o robots.txt gerado e adicione-o ao arquivo na raiz do seu site (https://example.com/robots.txt). Anexe os grupos se você já tiver um robots.txt.
Casos de uso comuns
- Bloqueio de GPTBot, ClaudeBot e CCBot para que seu conteúdo não seja usado para treinamento de IA.
- Permitir que OAI-SearchBot e PerplexityBot mantenham seu site visível nos mecanismos de resposta.
- Revisar a lista completa de rastreadores de IA nomeados antes de decidir uma política para todo o site.
