ガイド
robots.txt を生成する君とは？
robots.txt を生成する君は、 User-agent グループ、パスのルール、 Sitemap URL 、任意の Crawl delay から、保存できるクローラー制御ファイルを作るツールです。
こんな時に便利です
- サイト内検索、管理画面、重複するパラメータ URL へのクロールを制御したい時。
- 特定のクローラーへワイルドカードとは異なるルールを設定したい時。
- サイト公開準備で Sitemap 宣言を追加したい時。
- 配置前にサイト全体を禁止する危険な設定がないか確認したい時。
使い方
- Sitemap URL を1つ以上追加します。
- 最初のグループへ User-agent を1行に1つ入力します。
- Allow と Disallow のパスを、先頭をスラッシュにして追加します。
- 別のクローラーへ異なるルールが必要ならグループを追加します。
- 警告を確認し、 robots.txt をコピーまたはダウンロードします。
入力例として、 User-agent 「*」と Disallow パス「/admin/」を設定すると、「 User-agent: *」と「 Disallow: /admin/」が出力されます。「/」を入力した場合はサイト全体のブロック警告が表示されます。
注意点
- Disallow はクロールを制御するもので、認証や検索結果からの確実な削除には使えません。
- Disallow: / は対象グループに対してサイト全体をブロックします。意図した場合だけ配置してください。
- Crawl-delay の対応状況はクローラーによって異なります。
- 完成したファイルはサイト直下へ置き、/robots.txt で取得できるようにします。
- AI bot の選択肢が必要な場合はAI クローラー robots.txt 生成ツールを利用してください。
- 公開後はrobots.txt 確認ツールで実ファイルとパス判定を確認してください。
