AI検索に備えてrobots.txtを変える前に｜中小企業サイトの判断順

ChatGPTやGoogleのAI機能に自社サイトを出したい一方、「学習には使われたくない」と迷っても、AIクローラーをまとめて許可・拒否するのは避けるべきです。まず「検索掲載と学習利用を分ける」、次に「対象クローラーを公式文書で確認する」、そのうえで「通常検索への影響を先に確認する」という順で判断します。最後に「反映後の計測と見直し日を決める」ところまで済ませてから変更してください。検索への掲載、回答内での引用、学習への利用は、同じ設定で一括制御できるとは限りません。現行のrobots.txt、CDN・WAF、公開情報も先に点検します。OpenAI Help Center+2Google for Developers+2

この記事では、robots.txtの記述例ではなく、中小企業の経営者やWeb担当者が制作会社・保守会社へ安全に確認を依頼するための判断順を解説します。

AI検索対応で最初に分けるべき目的

中央に自社サイトを置き、検索への掲載、回答内の引用、学習への利用へ分岐する構成を整理した図 — AIクローラー対応を三つの目的に分ける関係図ために、中央に自社サイトを置き、検索への掲載、回答内の引用、学習への利用へ分岐する構成を整理しています。

「AIに自社サイトを使わせるか」と考えると、許可か拒否かの二択に見えます。しかし、決めるべきことは一つではありません。検索結果やAI検索の候補として見つけてもらうこと、回答内でリンクや要約を示してもらうこと、モデルなどの学習に利用されることを分けます。

OpenAIは、ChatGPT検索に関わるOAI-SearchBotと、潜在的な学習に関わるGPTBotを別に案内しています。Googleも、Google検索内のAI機能と、ほかの一部システムにおける学習・グラウンディングの説明を分けています。判断基準にするのはサービス名ではなく、公式文書に記載されたクローラー名と用途です。OpenAI Help Center+1

目的ごとに分ける確認対象
目的	確認する対象	変更前の注意
検索への掲載	通常検索・AI検索で候補になる条件と検索用クローラー	通常検索の集客まで止めない
回答内での引用	リンク、タイトル、要約、スニペットの表示条件	robots.txtだけで表示内容を制御できるとは限らない
学習への利用	学習・グラウンディング向けクローラーと適用範囲	検索掲載の設定と混同しない

この表で決めるのは「AI全体を許可するか」ではなく、自社が許可または制限したい目的です。たとえば、会社概要やサービスページは検索・引用の対象にしたいが、学習利用は別に判断したいなら、検索用クローラーまで一括拒否しないようにします。

公開期限を過ぎた資料や外部公開に適さない情報がある場合は、AI向け設定だけで済ませず、ページ自体の公開状態を見直します。技術設定より先に「何を公開してよいか」を決めることが出発点です。

robots.txtでできることと、できないこと

robots.txtは、Webサイトのサーバー上に置くテキストファイルです。特定のクローラーに対し、サイト内のどの範囲を自動取得してよいかを伝えます。Googleが2025年2月24日に公開した解説でも、役割は自動アクセス、つまりクロールの許可範囲を示すことだと説明されています。Google for Developers

クロールはクローラーがページを取得すること、インデックスは検索対象として整理されること、表示は検索結果やAI回答にリンク、タイトル、要約などが出ることです。robots.txtが直接扱うのは主にクロールであり、拒否すればURLの存在まで必ず消えるわけではありません。

OpenAIのFAQでは、拒否されたページでも、第三者の検索提供元やほかのページからURLを得た場合、ChatGPT Atlasにリンクとタイトルだけを表示することがあるとしています。表示を避ける方法としてnoindexにも触れていますが、その指定を読ませるには対象ページをクロールできる必要があります。OpenAI Help Center

Google検索内のAI機能でも、クロールはGooglebotに対するrobots.txtで管理し、表示情報を制限する手段としてnoindexやスニペット関連の指定が案内されています。クロール拒否、検索対象からの除外、表示する抜粋の調整は、それぞれ目的が異なります。Google for Developers

制作会社へは「robots.txtを変更してほしい」とだけ伝えず、最終的に何を検索・引用の対象にし、何を利用対象から外したいのかを共有してください。

OpenAIとGoogleの公式案内から分かる違い

OpenAIは検索用と潜在的な学習用を分けている

2026年7月29日に確認したOpenAIの「Publishers and Developers - FAQ」では、ChatGPT検索の要約やスニペットにサイト内容を含めるには、OAI-SearchBotをブロックしないよう案内しています。許可したサイトへの参照URLにはChatGPT検索由来を示す情報が付くため、アクセス解析で流入を追跡できるとも説明されています。OpenAI Help Center

同じFAQでは、ChatGPT Atlasでのユーザー操作を通じて取得されるコンテンツについて、潜在的な学習から除外したいサイトやページはGPTBotを拒否するよう案内しています。この資料の範囲では、検索に関わるOAI-SearchBotと潜在的な学習に関わるGPTBotは別の判断対象です。OpenAI Help Center

Google検索のAI機能は通常検索と結び付いている

Googleの「AI features and your website」は、AI OverviewsやAI Modeへ表示されるための特別な技術要件はなく、通常検索と同じSEOの基礎が適用されると説明しています。補助リンクとして表示されるには、ページがインデックスされ、Google検索でスニペット付きの表示対象になり得ることが条件です。文書の最終更新日は2025年12月10日です。Google for Developers+1

Google検索内のAI機能は検索の一部であり、robots.txtによるクロール管理の対象はGooglebotです。「AI機能だけを止めるつもり」でGooglebotを拒否すると、通常検索に必要なクロールにも影響し得ます。一方、Googleのほかの一部システムにおけるAI学習やグラウンディングについては、Google-Extendedの案内を確認するよう示されています。Google for Developers

両社の案内から分かるのは、「AI」という名称で一括設定せず、用途、user-agent（クローラーを識別する名称）、対象範囲を実装時点の公式文書で確認すべきだということです。確認したURLと日付も作業記録に残します。

変更前に確認する現状と事業判断

現状確認、目的の整理、設定案の確認、反映後の監視を左から右へつなぐを整理した図 — 設定変更までの確認順を示す手順図ために、現状確認、目的の整理、設定案の確認、反映後の監視を左から右へつなぐを整理しています。

設定変更は、現状確認、目的の整理、設定案の確認、反映後の監視という順で進めます。先に設定文を作ると、残したい検索流入や公開すべきでない情報が後から判明し、やり直しになりかねません。

公開情報をページ単位で仕分ける

サイト内の情報を「広く見つけてもらいたい」「公開は続けるが表示範囲を検討したい」「外部公開すべきではない」に分けます。Webページだけでなく、PDF、過去のお知らせ、採用資料、画像ファイルも対象です。非公開にすべき情報は、クローラー拒否より先に公開停止や認証を検討します。

通常検索への影響を確認する

Search Consoleやアクセス解析で、自然検索の流入ページ、検索語句、問い合わせに至る導線を確認し、変更前の状態を保存します。Google検索内のAI機能は通常検索と結び付いているため、Googlebotを不用意に止めると既存の集客にも影響する可能性があります。Google for Developers

robots.txt以外の設定と配信環境を調べる

ページ側のnoindexやスニペット制御、WordPressやプラグインが生成する設定、サーバー、CDN、WAFのボット制御を点検します。robots.txtで許可していても、配信基盤で遮断されていればクローラーは取得できません。

Googleも、robots.txtに加えてCDNやホスティング基盤でクロールを許可することを挙げています。また、Google検索のAI機能へ出るために、新しい機械可読ファイル、AI専用テキストファイル、特別な構造化データは不要と説明しています。見慣れない設定を追加する前に、既存環境を確認します。Google for Developers+1

変更範囲、担当者、戻し方を決める

制作会社から、対象user-agent、対象ページ、期待する結果、通常検索への影響、元に戻す手順を提示してもらいます。変更日、変更前後の内容、参照した公式文書、承認者、反映担当者、計測担当者、次回見直し日も記録します。

制作会社・保守会社へ渡す確認項目

依頼時には、技術設定だけでなく、残したい接点と制限したい用途を一緒に伝えます。

□ 通常検索への掲載、AI回答内の引用、学習・グラウンディングを分けて希望を整理した
□ サービス名、対象user-agent、公式文書のURL、更新日または確認日を照合した
□ 現在のrobots.txt全文と、WordPress・プラグイン・サーバーのどこで管理されているか確認した
□ Googlebotへの変更が通常検索と検索内のAI機能へ与える影響を確認した
□ noindexやスニペット制御など、robots.txt以外の方法も比較した
□ CDN、WAF、ホスティング側の遮断状況を管理画面やログで確認した
□ 公開継続、表示範囲を検討、公開停止のページ一覧を作った
□ Search Console、アクセス解析、問い合わせなど変更前に保存する指標を決めた
□ 反映担当者、確認担当者、戻し方、次回見直し日を決めた

経営者やWeb担当者が決めるのは、「何を見つけてもらいたいか」「どこまで公開するか」です。制作会社・保守会社には、公式文書と現行設定を基に、技術的な影響を説明してもらいます。

AI検索対応について、検索への掲載、回答内の引用、学習・グラウンディングを分けて確認したいです。現行のrobots.txt、ページ側の制御、CDN・WAFを確認し、対象user-agentごとの変更要否、通常検索への影響、反映後の確認方法、元に戻す手順をご提示ください。判断に使用した公式文書のURLと確認日も記載してください。

「全面許可」「全面拒否」だけの提案であれば、目的別の影響が整理されているかを確認します。Googlebotを含む変更は、通常検索への説明がないまま進めないようにします。

反映後の監視と見直し

反映直後は、robots.txtが公開URLで取得でき、意図した内容になっているかを確認します。加えて、対象ページのHTTP応答、リダイレクト、CDN・WAFの遮断状況も点検対象です。可能であればサーバーやWAFのログで対象user-agentのアクセス結果を確認します。

その後は、Search Console、アクセス解析、問い合わせ状況を追います。Googleの2025年12月10日更新文書によると、AI OverviewsやAI Modeの実績はSearch Consoleの検索タイプ「ウェブ」における全体の検索トラフィックへ含まれる扱いです。OpenAIのFAQでは、ChatGPT検索からの参照URLに流入元を示す情報が付くと案内されています。計測画面や区分は変わり得るため、確認時点の公式案内も見直します。OpenAI Help Center+1

アクセス数だけでなく、問い合わせ、資料請求、採用応募など、サイトの目的につながる行動を確認します。反映直後、再クロールを確認できた時点、事前に定めた見直し日の三段階で記録すると、変更との関係を追いやすくなります。

設定後によくある質問

変更したのに表示がすぐ変わりません

再クロールと変更処理には時間がかかる点にも注意が必要です。Googleは数日から数か月かかる場合があると案内しています。短期間に設定を繰り返し変えず、HTTP応答、robots.txt、ページ側の指定、ログを確認し、決めた日まで観察します。Google for Developers

拒否したのにURLやタイトルが表示されます

設定ミスとは限りません。OpenAIのFAQでは、別の経路でURLを把握した場合、拒否ページでもChatGPT Atlasにリンクとタイトルだけが表示される可能性を説明しています。表示自体を避けたい場合はnoindexなどを検討しますが、その指定を読ませるにはクロールを許可する必要があります。OpenAI Help Center