AIクローラーを遮断すべきかどうかは、技術の問題として持ち出されることがほとんどです。しかし技術の問題ではありません。遮断そのものは設定を数行書くだけの作業で、robots.txt に記述を足すか、ネットワーク側でルールを一つ有効にするか、いずれにしても十分もあれば終わります。難しいのは、自分がそれを本当に望んでいるのかを決めるところであり、その判断は完全に商売の判断です。自社のコンテンツが学習に使われないよう守るのか、それとも人々が検索結果の一覧の代わりに受け取るようになった回答の中に居続けるのか、そのどちらかを選ぶことになります。

ネット上の助言の多くは、まず立場を決めてから、その立場だけを弁護します。誠実な言い方をすれば、正解は事業モデルによって変わります。ページビューで食べている媒体社と、問い合わせで食べている制作会社が、正反対の結論に行き着くのはまったく自然なことです。同じ質問に対して同じ答えが返ってくるほうが、むしろおかしいのです。

取引を一文にすると、こうなります。 AIクローラーを遮断すれば自社のコンテンツが取り込まれることは止められますが、同時に引用されることも止まります。売上が「人が自分のページに到着すること」に依存しているなら、遮断はあなたを守ります。売上が「人が自分の存在を知り、そのうえで連絡してくること」に依存しているなら、遮断はその発見がますます起きている面そのものから、あなたを消し去ります。

Cloudflareが実際に変えたこと

初期設定が反転しました。2025年7月1日、CloudflareはAIクローラーを既定で遮断する最初の大手インフラ事業者になり 、拒否を表明した者だけが守られる方式から、許可を得た者だけが通れる方式へ移行しました。新しく追加されるドメインは、登録の時点でAIクローラーによる収集を認めるかどうかを尋ねられます。AI企業の側から見れば、これまでは「断られていないこと」が事実上の許可でしたが、これからは明示的な許可がなければ入れません。

この変更はCloudflareの顧客だけの話にとどまりません。ウェブの通信のかなりの割合がこのネットワークを通過しているからです。既定値は法律ではありませんが、その規模で適用される既定値は、AI企業が当然だと見なしてよい範囲そのものを描き直します。業界の慣習は、ルールが変わるより先に、初期設定が変わることで動くことがあります。

そのための道具がAI Crawl Control で、無料プランを含むすべての料金プランで利用できます。どのAIサービスが自分のコンテンツに到達しているのかを一覧で見せ、クローラーごとに許可規則と遮断規則を設定でき、特定のクローラーが robots.txt をそもそも守っているのかどうかも確認できます。いちばん役に立つのは、何かを決める前にその通信を自分の目で見られることです。ところが多くのサイト運営者は、その画面を一度も開いたことがありません。議論だけが先に進み、実際に誰がどれだけ来ているのかを誰も見ていない、という状態がふつうです。

Cloudflareはさらに、クローラーに目的の申告を求める方向へ業界を押しました。おかげで、モデルを学習させるために来ているボットと、その場の回答を組み立てるためにページを取りに来ているボットと、検索のために索引を作っているボットを、区別できるようになりました。この三つはまったく別の取引です。学習は持ち去るだけで何も返さないことがあり、回答生成は読者の前にあなたの名前を出す可能性があり、検索の索引付けは実際の訪問を送り返してくれます。それなのに少し前まで、この三つは見分けがつかない形で届いていました。区別できない相手とは、条件の交渉もできません。

収益モデルは2026年7月にまた変わった

去年書かれた助言が今では間違いになっている箇所が、まさにここです。

Pay Per Crawlは2025年に、媒体社がAI企業に対して取得一回ごとに課金する市場として始まりました。2026年7月1日、Cloudflareはそのモデルを不十分だと宣言し、Pay Per Useへ移行しました 。ボットがページを取得した時点ではなく、あなたのコンテンツが回答の中で価値を生んだ時点で支払う仕組みです。

理屈は数字を見れば一目でわかります。AIクローラーの通信のうち50%以上が、変更されていないページを取り直しているのです。取得ごとに課金するやり方は、その大半で無駄に請求書を立てていることになります。逆に、コンテンツが回答の中に現れたときに課金すれば、実際に自分のサイトへの訪問を置き換えたその出来事に対して請求できます。何に対して支払われるのかが、ようやく損失の形と一致するわけです。

まだ早い段階ではあります。立ち上げの提携先はCeramic.aiとYou.comで、英国の小さな会社にとって広い収入源になっているとは言えません。来年の予算の一行としてではなく、市場が進んでいる方向として受け止めておくのが妥当です。

もう一つ、手帳に書いておくべき期日があります。2026年9月15日から、広告を掲載しているページでは、用途が混在したクローラーが既定で遮断されます。サイト運営者が設定を変更しないかぎり、その状態が適用されます。広告を出しながらAI経由の流入に頼っているなら、自分では何もしていないのに、この既定値があなたに適用されるということです。

遮断が実際に払わせる代償

三つあり、そのうち最初の一つだけが目に見えます。

引用を失います。 AIの回答は出典を名前で挙げます。その名前の一つになることは、今日における検索結果一ページ目の掲載に相当します。そして遮断されたクローラーは、読むことを許されていないものを引用できません。可視性のほうを選ぶと決めたあとで、何が引用を勝ち取るのかについては、生成エンジン最適化のガイド で扱っています。

測定を失います。 遮断された通信は、レポートの中に損失としては現れません。何もなかったものとして現れ、それは最初から持っていなかった状態と区別がつきません。早い時期に遮断したサイトの多くが、それがいくらの損だったのかを言えないのはこのためです。比較対象になるはずの反事実が、どこにも記録されていないのです。測れないものは、後から取り戻す判断すらできません。

そして学習を実際に止められるわけでもありません。 身元を名乗り、robots.txt を尊重する行儀のよいクローラーを遮断するということは、ルールに従う意思のある相手だけを正確に締め出すということです。すでに取り込まれたコンテンツは取り込まれたまま残りますし、robots.txt を無視する収集ツールは最初から対象外でした。結局のところ、礼儀正しい一部の振る舞いを整えているにすぎません。

その一方で、コンテンツそのものが商品である事業なら、遮断は本当に守りになります。購読型の媒体、レポートを販売する調査会社、画像素材のライブラリなどがそれにあたります。こうした事業にとって、内容を要約してしまうAIの回答は販売の直接の代替物であり、出典として名前が出ることは埋め合わせとしてあまりに軽いのです。

AIクローラーを遮断するかどうかの決め方

訪問者一人の価値がいくらで、その人がどの経路で顧客になるのかを、まず自問してください。

コンテンツが商品そのものなら遮断してください。 有料の報道、販売する調査、ライセンス提供している参照データがこれにあたります。AIの回答はあなたの販売と直接競合します。

コンテンツが別の何かのための販促なら許可してください。 ソフトウェアの受託会社、コンサルティング会社、法律事務所、クリニックなどです。記事は、買い手に「この会社なら自分の問題を解決できる」と気づいてもらうために存在します。回答の中で名前を挙げられることは、もともと費用を払って買おうとしていた認知そのものであり、問い合わせは依然としてあなたのところに来なければ成立しません。

どちらとも言い切れない位置にいるなら、選択的に許可してください。 クローラーごとの規則を使えば、検索のための索引付けは受け入れ、学習は断るという運用ができます。目的が申告されるようになった今、これは十分に説明のつく中間の立場です。

この記事を読んでいる大半の企業にとって、答えは許可です。遮断したくなる本能は防御的で理解できるものですが、たいていは単独では商売にならないコンテンツを守りながら、そのコンテンツがもともと養うために書かれた発見の経路を断ち切っています。守っている対象と、失っている対象が入れ替わっているのです。

どこから始めるか

何かを変える前に、まず通信を見てください。AI Crawl Controlは、どの料金プランでも、どのクローラーがどれだけの頻度で来ているのかを示します。そのデータを一か月ぶん集めるだけで、思想の言い争いが単純な算数の問題に変わります。

そのうえで、一括ではなくクローラーごとに決め、決めた内容を日付とともに書き残してください。この領域は14か月のあいだに二度変わり、これからも変わるからです。書き残していなければ、次に変わったときに何を前提に決めたのかが誰にもわかりません。

Mecanikは、通常の点検項目に加えてAIクローラーのアクセス状況と引用での露出まで扱うテクニカルSEO監査 を実施し、設定の反映はWeb開発 チームが行います。順位は取れているのにAIの回答にはまったく登場しない、という状態であれば、まずクローラーのアクセスを疑って潰すのが順序です。

関連記事: AI SEO代理店の実態と費用 、Google AI Modeとサイト流入への影響 、WordPressがハッキングされた：駆除と復旧の手順 、Cloudflareサイト速度：2026年最適化ガイド 。

よくある質問

自分のサイトでAIクローラーを遮断すべきですか？ どうやって稼いでいるかで完全に決まります。有料の報道や販売する調査のように、コンテンツそのものが商品であれば遮断してください。AIによる要約が販売の代わりになってしまうからです。コンテンツがサービスのための販促であれば許可してください。回答の中で引用されることは、その文章が生み出そうとしていた認知そのものであり、問い合わせは依然としてあなたのところに来るからです。

AIクローラーを遮断すれば、自社のコンテンツが学習に使われるのを止められますか？ 一部しか止められません。止まるのは、身元を名乗り robots.txt を尊重する行儀のよいクローラー、つまりルールに従う意思のある部分だけです。すでに取り込まれたコンテンツは取り込まれたまま残り、robots.txt を無視する収集ツールはそもそも影響を受けていません。礼儀正しいクローラーを整えているのであって、すべてを止めているわけではありません。

Cloudflare AI Crawl Controlとは何ですか？ 無料プランを含むすべての料金プランで使えるCloudflareの機能で、どのAIサービスがサイトにアクセスしているかを確認でき、クローラーごとに許可規則や遮断規則を設定でき、それぞれが robots.txt を尊重しているかどうかも追跡できます。クロール単位の課金にも対応しています。この機能のいちばんの価値は、何かを決める前に通信を見せてくれることです。

Cloudflare Pay Per Crawlに代わったのは何ですか？ 2026年7月1日に発表されたPay Per Useです。ページが取得されるたびにAI企業へ課金するのではなく、自社のコンテンツが回答の中で価値を生んだときに媒体社へ支払われます。Cloudflareの論拠は、AIクローラーの通信の50%以上が変更されていないページを取り直しており、取得単位の課金はその大半が無駄への請求になっていた、というものでした。立ち上げの提携先はCeramic.aiとYou.comです。

2026年9月15日には何が起きますか？ Cloudflareが、広告を掲載しているページで用途混在のAIクローラーを既定で遮断し始めます。サイト運営者が設定を変更しないかぎり、その状態が続きます。用途混在とは、検索のための索引付けを、学習やエージェントの通信と切り分けていないクローラーのことです。広告を出していてAI経由の紹介流入に依存しているなら、あなたの側で何もしなくてもその既定値が適用されます。