• バージョン
• ダウンロード 0
• ファイルサイズ 0.03 KB
• ファイル数 1
• 投稿日 2025年7月27日
• 最終更新日時 2025年7月27日

必ずrobots.txt（ロボッツテキスト）をアップロードしておこう！

Googleにインデックスさせてサイト上に表示されないようにするためにこちらのファイルも必ずアップロードしておきましょう。もともとダウンロード一式に組み込まれている場合もありますがない場合もありますので確認しておきましょう。ない方はこちらから気軽にダウンロードできますのでご安心ください。

robots.txtとは？

robots.txtは、ウェブサイトの管理者が検索エンジンのクローラー（ロボット）に対してアクセス制限を指示するためのテキストファイルです。サイトのルートディレクトリ（例：https://example.com/robots.txt）に設置され、クローラーが最初に読み込むファイルのひとつです。

📌 主な役割

• クロール制御：特定のページやディレクトリへのアクセスを禁止・許可できます。
• サーバー負荷軽減：不要なページのクロールを防ぎ、リソースを節約。
• プライバシー保護：管理画面や会員ページなど、検索結果に表示させたくない領域を除外。
• クロール最適化：重要なページにクローラーを集中させ、SEO効果を高める。

🛠️ 基本的な書き方

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

• User-agent: 対象のクローラー（*はすべてのクローラー）
• Disallow: クロール禁止のパス
• Allow: クロール許可のパス（Disallowより優先される）
• Sitemap: サイトマップのURLを指定（任意）

⚠️ 注意点

• robots.txtはインデックス制御ではなくクロール制御です。検索結果に表示させたくない場合はnoindexタグの併用が必要。
• robots.txtは誰でも閲覧可能です。機密情報の保護には適していません。
• クローラーによってはrobots.txtを無視する場合もあるため、完全な制御は保証されません。