クローラーのアクセスを明確に伝え、価値の低いパスを抑えながら重要なページを保護します。インデックス登録したいページをブロックせず、サイトマップによる発見も案内するrobots.txtルールを作成できます。
ツールを実行すると、分析結果、エクスポート、次のアクションがここに表示されます。
サイトURL、サイトマップURL、クローラーの識別情報、Allowルール、Disallowルール、任意のクロール遅延に基づいて、読みやすいrobots.txtの下書きを作成します。複雑なブロックパターンより、分かりやすさを優先します。
新しいサイトの公開前、非公開パスの再構成、クロールトラップの整理、ファセット、チェックアウト、検索、内部ページをクロール対象にすべきかの確認に使います。
robots.txtはクロールの指示であり、インデックス登録の保証ではありません。DisallowされたURLもリンク経由で発見されることがあり、AllowされたURLでもnoindexが設定されていたり、別のcanonical URLが指定されていたりします。
最も深刻なのは、アセット、ローカライズ領域、商品ページ、またはサイト全体をブロックする広範なルールです。小さな構文変更がトラフィックの障害につながることがあります。
下書きを確認し、サンプルURLをテストして、重要なパスをクロールしてからデプロイします。安全なrobots.txtとは、説明しやすく検証しやすいものです。
クロール計画、メタデータ確認、SEO 引き継ぎのための短い回答です。
確実にはできません。robots.txtはクロールを制御するもので、インデックス登録を制御するものではありません。インデックスから削除する必要がある場合は、クロール可能なページにnoindexを設定するか、適切な削除手順を使います。
公開検索クローラーに対しては通常ブロックします。ただし、広範なルールで検索順位を獲得すべき商品、コレクション、ドキュメントのパスまでブロックしないようにしてください。
はい。サイトマップディレクティブを追加すると、特に大規模サイトや複数のサイトマップインデックスがあるサイトで、クローラーがサイトマップファイルを見つけやすくなります。
サーバー負荷への対応が必要な場合にのみ使います。クロール遅延を無視するクローラーもあり、制限が厳しすぎると頻繁な更新が必要なサイトでURL発見が遅れることがあります。