🤖 robots.txt / sitemap.xml ジェネレーター

robots.txtはクローラーに取得してよいものとダメなものを伝え、sitemap.xmlは検索エンジンにインデックスする価値のあるページを伝えます。ここで両方を生成し、各ルールの意味を理解しましょう。

robots.txt & sitemap.xml ジェネレーター

クロールルールとサイトマップをインタラクティブに設定し、リアルタイムでプレビューしてワンクリックでコピー / ダウンロードできます。すべてブラウザ内でローカルに処理され、ネットワークリクエストは発生しません。

クイックプリセット：

User-agent

Crawl-delay（任意、秒）

Allow パス

なし

Disallow パス

Sitemap URL（グローバル、任意）

生成結果 robots.txt

User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

robots.txtはサイトのルート(例: https://example.com/robots.txt)に置く必要があります。sitemap.xmlも同様にルートに置き、robots.txtにSitemap:行を記述して参照させることで、クローラーが見つけられるようにします。