クローラー名・拒否パス・許可パス・サイトマップ URL・ページ URL を入力して「ファイルを生成」を押すと、robots.txt と sitemap.xml がこのブラウザ内で作られます。
ブラウザ内でローカルに実行5 つの欄を埋めて「ファイルを生成」を押すと、User-agent・Disallow・Allow・Sitemap の各行から robots.txt が、URL の一覧から sitemap.xml が作られます。どちらもこのブラウザ内で生成され、サイトの取得も送信も行いません。
サイトマップに書き込むのは絶対 http／https のアドレスだけです。それ以外の値は出力から外して欄の下に一覧表示するため、不正なエントリがサイトに入ることはありません。
robots.txt はクローラーに取得してよいパスを伝える指示です。アクセスを禁止するセキュリティ境界ではないため、無視するクローラーはページを取得できます。本当に非公開にしたいものは認証の内側に置いてください。ルールは直前の User-agent 行のグループに属するため、生成されるファイルは User-agent で始まり、その後にパスが続きます。
sitemap.xml はインデックスさせたいアドレスの一覧です。発見を助けるヒントであり、順位を直接左右するものではありません。robots.txt でブロックした URL は、サイトマップに載せてもインデックスされません。
ファイルが有効なままになるようパスを補正します。先頭のスラッシュがなければ追加し、貼り付けた完全な URL はそのパスとクエリに変換し、それでもパスにならない行は出力から外して状態に表示します。# で始まる行は robots.txt のコメントとしてそのまま残します。URL 行と Sitemap 行の重複は 1 回だけ書き、重複として報告します。ワイルドカード (*) と終端記号 ($) はそのまま通します。
Crawl-delay はなく、クローラーごとに別ルールのグループも作れません。サイトマップに lastmod・changefreq・priority も付けられません。1 つのサイトマップファイルに置ける URL は最大 50,000 件で、それを超える場合は書き込まずにその旨を表示します。取得は行わないため、存在しないアドレスも入力どおりに出力されます。URL が 200 を返すか、リダイレクトするか、404 かをこのページは判定できません。