AI検索での露出を維持しながらボットからサイトを守る方法

AI検索にサイトを表示させるには、クローラーからのアクセスを許可するのがまず思い浮かぶ選択肢かもしれません。自動アクセスによってサーバーリソースが過剰に消費されている場合は、ブロックするのも理にかなっています。しかし、許可するかブロックするかの二択しかないというわけではありません。

すべてのボットのアクセスを許可する必要はありません。検索結果やAIの回答にコンテンツが表示される可能性を高めてくれるクローラーもあれば、サイトに大量のアクセスを送りながら、露出にはほぼつながらないものもあります。それぞれの違いを把握し、どのボットにはアクセスを許可し、どのボットには制限をかけるかを判断しましょう。

「AIクローラー」という括りは広すぎる

すべてのAIクローラーが同じ目的で動いているわけではありません。そのため、すべてを同じように扱うと、検索やAIでの露出とサイトパフォーマンスのどちらかを不必要に犠牲にすることになります。

Cloudflareでは現在、AIトラフィックを大きく以下の3つに分類しています。

• 検索（Search）：今後の検索結果に表示するため、コンテンツをインデックスするクローラー
• エージェント（Agent）：ユーザーに代わってリアルタイムで操作を行うツールからのアクセス
• トレーニング（Training）：AIモデルのトレーニングや追加学習を目的にコンテンツを収集するクローラー

こうした区別が重要であることは、トラフィックの内訳からもわかります。Cloudflareによると、2026年6月時点でクローラーからのリクエストの52%をAIトレーニング目的のアクセスが占め、複数の用途を持つクローラーは36%以上を占めています。検索のみを目的とするクローラーの割合はこれらより小さいものの、検索やAIでコンテンツを見つけてもらううえで重要な役割を果たしています。

また、クローラーの種類を特定するだけでは不十分で、1社が目的の異なる複数のボットを運用していることもあれば、1つのクローラーが複数の用途を担うこともあります。検証済みのボットであっても、リクエストが多すぎればサイトのパフォーマンスに影響を与えます。

そのため、すべてのボットを一律に許可またはブロックする方法では、適切に対応できないケースがあります。検索やAIを通じてコンテンツを見つけてもらう機会を維持するには、それぞれのクローラーが実際に何をしているのか、どのような価値をもたらすのかを確認することが重要です。AIクローラーの挙動を把握することで、どのアクセスを許可、制限、または監視すべきかを判断しやすくなります。

クローラーから得られる価値を考える

クローラーを目的別に分けたら、次に考えたいのは、そのアクセスによって何が得られるのかです。

自動アクセスは、従来の検索順位だけでなく、AIによる引用、製品の発見、おすすめ、ユーザーに代わって行われる情報収集など、さまざまな用途を支えています。こうした接点の中には、最終的にサイトへの訪問につながるものもあれば、計測可能なクリックにはつながらなくても、露出を高めるものもあります。

得られる効果には大きな差があり、Cloudflareが公開しているクロール数と参照トラフィックの比率を見ると、その違いは明らかです。2025年を通じて、Anthropicではサイトへの訪問1件につき数万ページをクロールすることがありました。OpenAIでは概ね数千ページ、Perplexityでは数百ページ未満にとどまることが多々ありました。

ただし、これらの数字は時間とともに変化するため、AIプラットフォームの恒久的な順位を示すものではなく、あくまで差の大きさを示すデータとして捉えましょう。また、クローラーがもたらす価値のすべてを表しているわけでもありません。Cloudflareによると、AIのネイティブアプリからのトラフィックには従来のRefererヘッダーが含まれないことがあり、その場合、プラットフォーム経由の訪問として計測されません。また、AIによる引用を通じて、実際にサイトをクリックしないユーザーにもブランドやコンテンツを知ってもらえる可能性があります。

それでも、「サイトがリクエストを処理することで、何が得られているのか」というのが基本の問いになります。

このバランスを判断するには、以下のようなポイントを確認してみてください。

質問	確認ポイント
検索やAIでの発見につながるクローラーか	露出につながる可能性
計測可能な参照トラフィックをもたらしているか	直接的な効果
どのページやエンドポイントにアクセスしているか	インフラへの負荷
どのくらいの頻度でクロールしているか	運用への影響
ユーザーの操作をきっかけに発生するリクエストか	ユーザーにとっての直接的な価値
ブロックすると重要な流入経路を失う可能性があるか	露出機会を失うリスク

同じ1万件のクローラーリクエストでも、自動アクセスだからといって、すべてが同じ価値を持つわけではありません。得られる効果とサイト側の負担の両方を見ることで、どのアクセスを維持すべきかを判断しやすくなります。

すべてのボットを一律にブロックせず、負荷の高いリクエストを制限する

クローラーの種類だけでなく、サイトにアクセスした後、何をリクエストするかも重要です。キャッシュされた記事を定期的に読み込むボットと、WordPressの検索結果、絞り込み後の商品ページ、カートや決済ページのURL、REST APIエンドポイント、クエリパラメータが変化するURLなどに繰り返しアクセスするボットでは、サイトにかかる負荷が大きく異なります。こうしたリクエストでは、キャッシュからコンテンツを配信するのではなく、その都度WordPressで新しいレスポンスを生成する必要がある場合があります。

この違いが積み重なると、大きな負荷につながります。Kinstaがボットの挙動を分析したところ、わずか24時間で「カートに追加」のURLに767万件もの自動リクエストが発生し、そのうち375万件をClaudeBotが占めていました。問題は、単にAIクローラーがサイトにアクセスしていたことではなく、数百万件ものリクエストが動的URLに集中し、そのたびにアプリケーション側で追加の処理が発生する可能性があったことです。

ボットアクセスとWordPressのサーバー負荷との関係や、過剰な自動アクセスによって生じるインフラコストについては、それぞれの記事で詳しくご紹介しています。ここで重要なのは、クローラーからのアクセスを許可するからといって、サイトのすべての部分に同じようにアクセスさせる必要はないということです。

検索やAIの回答にコンテンツが表示される可能性を高めるのであれば、AIサービスに公開記事や商品ページへのアクセスを許可することには意味があります。一方、同じクローラーがカートのURLやサイト内検索ページなど、読み込み時の負荷が高く、検索やAIでの露出にもつながらない箇所に繰り返しアクセスすることには、ほとんどメリットがありません。

ボット対策を考える際には、「どのクローラーをブロックするか」だけでなく、「どのリクエストを処理する価値があるか」という視点も欠かせません。

維持したいトラフィックを基準にボット対策を講じよう

サイトに特に大きな負荷をかけているリクエストがわかれば、どのアクセスを許可し、どのアクセスを制限するかも判断しやすくなります。クローラーによって目的や得られる価値が異なるため、単一の許可リストやブロックリストだけでは十分に対応できないことがあります。

従来の検索クローラー

GooglebotやBingbotなど、正規の検索クローラーからのアクセスは基本的に維持することになります。これらは現在もオーガニック検索において重要であり、同じ検索インデックスがAIを活用したさまざまな検索体験にも利用されています。

Kinstaでは、主要な検索クローラーを検証済みボットとして扱っており、「AIクローラーのブロック」を有効にしてもGooglebotやBingbotはブロックされません。このように区別されているため、AIクローラーからサイトを保護しながら、従来の検索エンジンには引き続きコンテンツへのアクセスを許可できます。

AI検索・情報取得クローラー

AI検索での露出がビジネスにとって重要であれば、検索や情報取得を目的とするクローラーと、主にトレーニングデータを収集するボットは分けて考える必要があります。

こうしたクローラーは最新のコンテンツにアクセスし、AIツールによる質問への回答、情報収集、製品のおすすめ、関連ページへの誘導などに活用します。アクセスを許可したからといって、必ず引用やサイトへの流入につながるわけではありませんが、ブロックすると、AIシステムが最新のコンテンツを発見・取得する経路の一つを失う可能性があります。

AI検索での露出を積極的に高めたいサイトでは、価値が期待できるアクセスは許可し、その挙動を監視するのが現実的です。

トレーニング用クローラー

トレーニング用クローラーについては、少し異なる観点から考える必要があります。AIモデルのトレーニングやファインチューニングを目的にコンテンツを収集するため、そのアクセスは、最新の記事や製品がAI検索で見つけられるかどうかには直接つながりにくいものです。

だからといって、すべてのサイトで一律にブロックすべきというわけではありません。クロールの頻度やリクエストによるリソース消費量、コンテンツ戦略、モデル開発へのコンテンツ利用を許可するかどうかなどを踏まえて判断することになります。

トレーニング目的のアクセスによって大きな負荷が発生している一方、計測可能な効果や戦略的な価値がほとんど得られていない場合は、アクセスを制限するという判断もしやすくなります。

不明または過剰な自動アクセス

正規のクローラーであっても、リクエストの頻度が高くなりすぎれば問題になる可能性があります。

Kinstaのボット対策機能では、リクエスト頻度が過剰なAIクローラーを、通常のAIクローラーとは別に分類します。これには、サイトパフォーマンスに影響を与える可能性があるほどアクセスが増加した検証済みクローラーも含まれます。選択した対策レベルに応じて、検証済みであることを理由に無制限のアクセスを許可するのではなく、こうしたアクセスに検証を要求することができます。

クローラーに対するルールは、アクセス状況に応じて変更できます。通常は特定のボットからのアクセスを許可し、リソースを過剰に消費したり、サイトパフォーマンスに影響を与えたりするようになった場合には、アクセスを制限するといった対応が可能です。

Kinstaならボットごとに柔軟に対策

ボットごとに適切なルールを設定するには、さまざまな自動アクセスに応じてサイト側の対応を調整することが重要です。Kinstaのボット対策機能では、アクセスを単純に許可またはブロックするだけでなく、複数の方法で自動アクセスを制御できます。

Kinstaでは、以下4つの対策レベルを提供しています。

• 悪意のあるトラフィックをブロック：既知の悪意のあるリクエストをブロックし、それ以外のアクセスは許可
• 自動トラフィックをブロック：自動アクセスと確認されたトラフィックもブロック
• ボットを検証：自動アクセス、または自動アクセスの可能性が高いと判断されたトラフィックに検証を要求
• すべてのトラフィックを検証：最も厳しいレベルで、すべての訪問者に検証を要求

これらの対策レベルを使い分けることで、クローラーやユーザーエージェントごとに手動でルールを設定しなくても、ボットによるアクセスが問題になった際に保護を強化できます。

前述のとおり、Kinstaでは「AIクローラーのブロック」という個別の設定もあります。有効にすると、検証済みAIクローラーを含む対応対象のAIクローラーがブロックされますが、GooglebotやBingbotは対象外です。そのため、従来の検索エンジンからのアクセスを維持しながら、一部のAIクローラーからのアクセスを制限できます。

注意点として、ボット対策を強化する際には、正規の自動アクセスにも注意を払いましょう。WordPressサイトでは、スケジュール済みのタスク、REST APIリクエスト、プラグイン連携、決済サービス、監視ツールなど、サイト運営に必要なさまざまな自動処理が行われています。Kinstaの「通常のWordPress自動処理を許可」を有効にすると、対策レベルを強化した場合でも、こうした処理への影響を抑えることができます。

さらに細かな設定が必要な場合は、「例外」セクションを使用して、IPアドレス、パス、ユーザーエージェントを条件に特定のアクセスを許可できます。

これらの機能を組み合わせることで、アクセス状況の変化に応じて柔軟に対策を調整できます。検索やサイト運営に必要な自動アクセスは維持しながら、必要に応じてAIクローラーを制限し、自動アクセスによるサイトへの負荷が高まった場合には対策を強化できます。

ボット対策がうまく機能しているかを確認する

ボット対策は、一度設定して終わりではなく、継続的に見直すことが重要です。自動アクセスへの対応を調整したら、検索やAIでコンテンツを見つけてもらう機会を損なうことなく、実際にサイトパフォーマンスが改善しているかを確認します。

まずは、設定を変更する前後で以下の項目を比較してみてください。

• AIクローラーからのリクエスト数
• リクエスト頻度が過剰なAIクローラーのアクセス
• リクエストの多いパス
• 許可、検証、ブロックされたリクエスト
• クローラーからのアクセス急増時のサイトパフォーマンス
• オーガニック検索からのトラフィック
• 計測可能なAI経由の参照トラフィック
• AI経由の訪問者によるコンバージョンやその他の重要なアクション

MyKinstaでは、こうしたアクセスをさまざまな角度から確認できます。「リクエストの内訳」では、検証済みボット、AIクローラー、リクエスト頻度が過剰なAIクローラー、自動アクセス、ボットの可能性があるアクセスなど、カテゴリ別にリクエストを確認できます。さらに「上位トラフィック」レポートでは、リクエスト数の多いパス、ユーザーエージェント、IPアドレス、国・地域を特定できます。

こうしたデータは、対策レベルを変更したり、特定のクローラーをブロックしたりした後の効果を確認する際に特に役立ちます。検索トラフィックやAI経由の流入を維持したままサーバー負荷が下がれば、設定変更が狙いどおりに機能している可能性があります。一方、有益なトラフィックまで減少した場合は、設定を見直したり、より対象を絞った例外ルールを追加したりする必要があります。

アクセス状況が変化した場合も同様です。現在はほとんど問題になっていないクローラーでも、後からリクエスト頻度が高まる可能性があります。また、今は計測可能なトラフィックが少ないAI経由の流入も、時間の経過とともにその価値が高まるかもしれません。

「確認→調整→比較」を繰り返し、その結果に応じて変更を維持するか元に戻す、というシンプルなサイクルが効果的です。

Cloudflareの新たなAI制御に見る、これからのボット対策

Cloudflareの最近の変更からも、同じ方向性が見えてきます。すべてのAIクローラーに同じルールを適用するのではなく、それぞれの用途に応じて自動アクセスを管理するという考え方です。

2026年7月、Cloudflareは従来のAIボットを一括して扱う仕組みを変更し、「検索（Search）」「エージェント（Agent）」「トレーニング（Training）」の3カテゴリを個別に制御できるようにしました。サイト所有者はカテゴリごとに、アクセスを許可する、サイト全体でブロックする、広告が表示されるページのみブロックするといった設定が可能です。9月15日以降に追加されたドメインでは、検索は許可し、広告が表示されるページではエージェントとトレーニングをブロックする設定がデフォルトになります。また、検索とトレーニングなど、複数の用途を持つクローラーに対するルールの適用方法も変更されています。

この変更が重要なのは、サイト所有者がすでに直面している課題に対応しているためです。コンテンツを見つけてもらうためのインデックス作成は許可したい一方で、同じ事業者によるモデルトレーニング目的のアクセスまで無制限に許可したいとは限りません。AIボットを一括してオン・オフするだけでは、こうしたニーズにうまく対応できません。

Kinstaをご利用の場合は、すでに提供されているボット対策に別の対策を重ねる際には注意が必要です。独自のCloudflare設定でカスタムWAFやボットルールも使用している場合、リクエストはまずCloudflare側で処理されます。そのため、Kinstaに到達する前に正規のアクセスまでブロックされる可能性があります。

Cloudflareの変更は、すべてのWordPressサイトでそのまま取り入れるべき新ルールというよりは、今後のボット対策の方向性を示すものとして参考になります。単純に許可またはブロックするのではなく、価値のある自動アクセスは維持しながら、価値の低いアクセスを制限する、より柔軟な管理へと移行しつつあります。

制作会社ではクライアントごとに異なるボット対策が必要

制作会社の場合、すべてのクライアントに同じボット対策が適しているとは限りません。たとえばメディアサイトでは、コンテンツを見つけてもらう機会につながるのであれば、AIクローラーからのアクセスをある程度許可しても大丈夫です。一方、アクセスの多いWooCommerceサイトでは、ボットからのリクエストが買い物客とサーバーリソースを奪い合うようになれば、より厳しい制限が必要になる可能性があります。

Hallの導入事例からも、サイトによって求められる対策が異なる理由がわかります。同社が支援するWooCommerceクライアントの1社では、Kinstaへの移行前、アクセス急増時のサイトダウンに悩まされていました。事業が成長し、年間売上が300万ドルから5,000万ドル以上に拡大するにつれて、アクセスが集中する時間帯にも安定したパフォーマンスを維持することがますます重要になりました。

ボットルールは、それぞれのサイトの特性に合わせて設定する必要があります。クライアントにとって重要なクローラーはどれか、サイトに大きな負荷をかけているものはどれか、アクセスを維持する必要がある自動サービスは何かを確認します。そのうえで、トラフィックやクライアントのニーズの変化に合わせて、ルールを調整していきましょう。

見つけてもらう機会を維持しつつアクセスを賢く制御

AIにサイトを見つけてもらうことと、過剰な自動アクセスからサイトを守ることのどちらか一方を選ぶ必要はありません。重要なのは、どのアクセスを許可する価値があるのか、サイトのどこまでアクセスを許可するのか、そしてその処理によってサイトにどの程度の負荷がかかるのかを見極めることです。

検索やAIを通じてサイトを見つけてもらうことにつながるアクセスは維持しつつ、クローラーがサイトに到達した後の挙動にも目を向けましょう。得られる効果が少ないにもかかわらず、多くのリソースを消費するボットがあれば、アクセスを制限することができます。ただし、WordPressの自動処理や、サイト運営に必要なその他のサービスまで妨げないよう注意が必要です。

クローラーの挙動やAI経由の流入傾向、サイト運営上の優先事項が変われば、適切な対策も変化します。サイトで何が起きているかを把握し、それに応じて対策を調整できるようにしておくことが重要です。

Kinstaのボット対策機能の詳細はこちら。AI・ボットアクセスに関するレポートもぜひご覧ください。