Cloudflareは、AI学習を拒否しつつ検索目的の巡回を扱える、新しいクローラー制御を発表しました。
サイトの記事をAI学習へ無条件に渡したくない一方、GoogleやAI検索では見つけてもらいたい。この二つは、同じ「AIを拒否する」という設定だけで解決できるとは限りません。
Cloudflareの英語発表は9月15日、国内発表は9月17日です。今回の変更を読むうえで重要なのは、学習への利用方針と、検索ボットのアクセス許可を分けることです。設定名だけで一括遮断を選ばず、サイトの目的から確認しましょう。
この記事でわかること
- 変更点：学習・検索などの目的を分けて管理する考え方を理解する。
- 設定の違い：学習拒否と検索ボットの遮断を混同しない。
- 確認手順：変更前の記録から、変更後の検索・アクセス確認まで進める。
- AIOへの影響：巡回を許可することと引用されることの違いを押さえる。
なぜ学習と検索を分ける必要があるのか
クローラーは、Webページを自動的に取りに来る仕組みです。同じ事業者の巡回でも、検索結果を作る目的と、AIの学習に使う目的が一体になっていると、サイト運営者は片方だけを選びにくくなります。
Cloudflareは、こうした複数用途のクローラーに利用目的への責任を求める仕組みを示しました。新しい「Disallow AI Training」は、学習への拒否を示しながら、条件を満たす複数用途のクローラーを検索目的で扱うための選択肢です。
拒否の表明と、アクセス遮断は同じではない
Bot Preference Syncは、サイト側の希望をrobots.txtなどへ反映する仕組みです。一方、アクセスを実際に遮断する制御もあります。方針を書けば、過去に取得されたデータまで消えるわけではありません。対応状況や事業者の取り組みを含めて考える必要があります。
「Block」と「Disallow AI Training」を取り違えない
公式説明で特に注意したいのが、更新後の「Block」と「Block on pages with ads」には、Applebot、Bingbot、Googlebotも含まれるという点です。AI対策のつもりで選んだ設定が、通常の検索で見つけてもらう機会に影響する可能性があります。
| 選択を考える目的 | 確認したいこと |
|---|---|
| AI学習を拒否したい | Disallow AI Trainingの対象と、検索目的の扱い |
| ボットを遮断したい | Googlebotなど検索ボットも対象になるか |
| 既存設定を引き継ぎたい | 移行後の設定名・対象・実際のアクセス状況 |
検索を残したいサイトでは、遮断対象の一覧を確認してから変更します。なお、検索用のアクセスを残しても、検索順位やAI回答での引用が保証されるわけではありません。
サイト担当者が進めたい確認の順番
まず、現在の設定とrobots.txt、主要な検索流入、ボットのアクセス状況を記録します。次に「学習を制限したい」「検索流入は維持したい」など、守りたい条件を短い文章で決めます。技術担当者へ依頼するときも、設定名だけではなく、この目的を一緒に伝えると認識をそろえやすくなります。
変更後は、検索とアクセスを別々に見る
変更直後には、意図した方針が公開されているか、検索ボットが不必要に拒否されていないかを確認します。その後、検索サービスの管理画面やアクセス記録で変化を見ます。流入の減少があっても設定だけが原因とは限らないため、変更日と確認内容を残してください。
Bot Preference SyncはFreeからEnterpriseまでのプランで案内されています。ただし、利用中の管理画面や既存ルールとの関係はサイトごとに確認が必要です。日本専用の別条件は、今回の発表では示されていません。
実務上の注意
複数用途のクローラーには、要件を満たしているものと、期限までの対応を約束しているものがあります。全事業者の完全対応を前提にしないでください。
AI検索で表示される要約の量を制御する構想も述べられていますが、将来の取り組みと現在利用できる設定は別です。重要な設定変更は管理担当者と確認し、元に戻せる状態で進めましょう。
まとめ
Cloudflareの新しい制御では、AI学習への拒否と、検索のための巡回を切り分けて考えることが重要です。検索を維持したい場合は、Block系設定の対象を確認し、変更前後の記録を残しましょう。AIOでは、まず意図しないアクセス拒否を避けることが土台になります。
関連記事：AI検索がWebサイトの流入へ与える影響
よくある質問
AI学習を拒否するとGoogle検索にも出なくなりますか？
選ぶ設定によります。更新後のBlock系設定にはGooglebotなどが含まれます。学習拒否の方針と検索ボットの遮断を分けて確認してください。
設定すればAIに引用されますか？
引用は保証されません。巡回の許可はアクセスの条件であり、記事の内容や各検索サービスの判断とは別です。
無料プランでも対象ですか？
Bot Preference SyncはFreeからEnterpriseまでで案内されています。個々の制御や既存設定との関係は、利用中の管理画面と公式説明で確認してください。
出典・参考情報
運営元について
AXメディアは、株式会社ジーズ AX事業部が運営しています。AX事業部では、AI研修・AIエージェント開発・ローカルLLM開発・補助金／助成金の活用支援を提供しています。
