robots.txt

検索エンジンのクローラー向け設定ファイル

設定内容

# robots.txt for https://haishin-qa.iyasaka.co
# Generated by Kaonavi Dictionary

User-agent: *
Allow: /

# Sitemap
Sitemap: https://haishin-qa.iyasaka.co/sitemap.xml

# Crawl-delay (optional)
Crawl-delay: 1

# Disallow admin pages
Disallow: /admin
Disallow: /admin/

# Allow search engines to index all public content
Allow: /blog/
Allow: /document
Allow: /estimate
Allow: /contact

設定項目の説明

ディレクティブ説明
User-agent: *すべての検索エンジンボットに適用
Allow: /サイト全体のクロールを許可
Sitemap:サイトマップのURLを指定
Crawl-delay:クロール間隔(秒)を指定
Disallow:クロールを禁止するパスを指定

登録されたサイトマップURL

https://haishin-qa.iyasaka.co/sitemap.xml

robots.txtの設置方法

1

ファイルをダウンロード

上のダウンロードボタンからrobots.txtをダウンロードします。

2

サーバーのルートに配置

ダウンロードしたファイルをWebサイトのルートディレクトリ(例: public_html/)に配置します。

3

動作確認

ブラウザで https://haishin-qa.iyasaka.co/robots.txt にアクセスして確認します。

4

Google Search Consoleで確認

Search Consoleの「robots.txtテスター」でファイルが正しく認識されているか確認します。

注意: robots.txtとsitemap.xmlは両方ともサーバーのルートディレクトリに配置してください。 サイトマップはこちらからダウンロードできます。