平均値からは見えないAIがサイトに与える影響

5,000以上のWordPressサイトから得た最新のインフラデータをもとに、サイトごとに異なるAIトラフィックの実態と、リクエスト数だけではわからないアクセスの挙動を明らかにします。

03. トラフィックレポートでは同じ1件でも、サーバーの処理は異なる

AIクローラーがサイトに与える負荷

ウェブトラフィックの半数以上をボットが占めていることは、すでに広く知られています。Cloudflareの世界全体のデータによると、現在ウェブページへのリクエストの57%がボット、43%が人間によるものです。このような数字を見ると、自分のサイトでは実際にどのくらいが人間によるアクセスなのか気になるところです。

キャッシュから返せるリクエストも、その都度動的なレスポンスを生成する必要があるリクエストも、トラフィックレポート上では同じ「1件」としてカウントされます。そのため、リクエスト数からAIクローラーのアクセス量はわかっても、それらの処理がサーバーにどのような負荷をかけているかまではわかりません。

そこでまず、AIクローラーが1回のリクエストでより多くのデータを転送しているのかを調査しました。5回の計測では、AIクローラーが全リクエストの平均6.33%、帯域幅の6.42%を占めており、両者に大きな差は見られませんでした。

より大きな違いが見られたのは、リクエストの処理方法です。3回の計測の平均では、人間によるリクエストの76.3%がキャッシュから配信されていたのに対し、AIクローラーではわずか10.4%。一方、通常のキャッシュミスは人間が約3.8%、AIクローラーが約4.3%と、大差はありませんでした。

この差の大部分を占めていたのが、動的コンテンツへのリクエストです。AIクローラーによるリクエストの平均84.1%が動的コンテンツへのアクセスだったのに対し、人間では18.6%でした。この傾向は3回すべての計測で一貫しており、AIクローラーでは76.9〜90.5%、人間では18.3〜18.9%でした。

さらに詳しく分析すると、別の傾向も見えてきました。

Cloudflareが計測するネットワーク全体で見れば、この数字は実態を表しています。私たちのデータでも、これに近い結果が得られました。今回調査したWordPressサイトでは、典型的な1日で約54%が自動化されたアクセス、46%が人間によるアクセスでした。

アクセス量、パターン、アクセス元という3つの観点から見ることで、業界全体の割合だけではわからない、個々のサイトの実態が見えてきます。AIからのアクセスが少なく、リクエストにも特に変わった傾向がなければ、それ以上の対応は必要ないかもしれません。一方、AIからのアクセスが分布の上位にあり、クローラーが動的なページに繰り返しアクセスしている場合は、詳しく調査する必要があります。