Cloudflareが認証済みボットの行動を継続評価する仕組みを発表:robots.txtとHTTP 429への応答で信頼を測る

0

関連するXの解説記事もご覧いただけます。

Webサイトを運営していると、人間の読者だけでなく、検索エンジンの巡回プログラムや各種サービスのデータ収集プログラムなど、数多くの「ボット(自動化されたプログラム)」が日々アクセスしてきます。こうしたボットの中には、サイトの価値を高める有益なものもあれば、サーバーに過度な負担をかける厄介なものも混在しています。

2026年10月16日、Webインフラやセキュリティサービスを広く提供するCloudflareは、公式ブログにて「Continuous accountability for Verified bots(認証済みボットに対する継続的な説明責任)」を発表しました。これは、Cloudflareがすでに本人確認を行っている「Verified bots(認証済みボット)」であっても、サイト運営者のルールや希望を継続的に守っているかどうかを評価・監査する新しい仕組みです。

これまで、身元が確認された正規のボットは「基本的には信頼できる安全なアクセス元」として扱われるのが一般的でした。しかし今回の発表によって、今後は「誰が動かしているボットか」という身元の証明だけでなく、「日々どのように振る舞っているか」という行動の継続的な信頼性が問われるようになります。

この記事では、専門的な知識に自信がない方にも分かりやすいよう、基本となる用語の意味から今回の発表内容、現在の提供状況、そしてWebサイト運営者が今のうちに確かめておきたいポイントまでを順番に解説していきます。

そもそも「Verified bots(認証済みボット)」とは何か

今回の発表を理解するために、まずは「Verified bots(認証済みボット)」という言葉の基本をおさらいしておきましょう。

インターネット上を巡回するボットには、悪意を持ってサイトの脆弱性を探したり、コンテンツを無断で大量に複製したりする悪質なボットが存在します。そのため、多くのWebサイトではセキュリティ機能を使って不審なボットからのアクセスを遮断しています。

一方で、検索エンジンが検索結果を作るための巡回プログラムや、SNSでリンクを共有した際にプレビュー画像を表示するためのプログラムなど、Webサイト運営者にとっても歓迎すべき有益なボットもたくさんあります。これらまで一律に遮断してしまうと、検索結果に自分のサイトが表示されなくなるなど、サイト運営に大きな支障が出てしまいます。

そこでCloudflareなどのセキュリティサービスでは、正当な事業者が運用している身元の確かなボットをあらかじめ登録・確認し、「Verified bots(認証済みボット)」として区別する仕組みを設けています。これにより、サイト運営者は怪しい自動アクセスを防ぎながら、身元が保証された正規のボットだけをスムーズにサイトへ招き入れることができるようになっています。

しかし一般的な背景として、たとえ運営元の身元がはっきりしている正規のボットであっても、常にサイト運営者にとって理想的な動きをするとは限りません。ボット側のプログラム改修や設定変更、あるいは積極的すぎるデータ収集によって、サイト側が見てほしくないと指定した場所へアクセスしたり、サーバーが悲鳴を上げるほどの高頻度でリクエストを送りつけたりする可能性はゼロではないからです。

一度「認証済み」のお墨付きを得たボットであっても、その後の振る舞いが適切であり続けているかをどうやって確認するのか。今回のCloudflareの発表は、まさにこの課題に向き合うための新しい仕組みと言えます。

今回発表された「継続的な評価システム」と2つの観測ポイント

2026年10月16日に発表された新しい評価システムは、認証済みボットがサイト運営者の意向やサーバーの状況を継続的に尊重しているかを観測し、監査するためのものです。

Cloudflareはこのシステムにおいて、ボットの振る舞いを測る主要な信号(シグナル)として、次の2つのポイントを観測すると明らかにしています。

robots.txtのクロール指示を無視する反復パターンの有無

サイト側からHTTP 429(Too Many Requests)のエラーが返された後に、リクエスト送信を減速または一時停止(バックオフ)するかどうか

それぞれの用語と意味を少し噛み砕いて見てみましょう。

1つ目の robots.txt(ロボッツ・テキスト) とは、Webサイトのサーバーに設置しておくテキストファイルのことで、巡回してくるボットに向けた「案内板」や「立ち入り禁止の張り紙」のような役割を持っています。サイト運営者はこのファイルに「管理用のフォルダには入らないでほしい」「特定のページは読み取らないでほしい」といった巡回(クロール)に関する指示を書いておくことができます。新しい評価システムでは、認証済みボットがこの案内板の指示を繰り返し無視してアクセスしていないかどうかを観測します。

2つ目の HTTP 429(Too Many Requests) とは、Webサイト側のサーバーがアクセス元に対して返す通信の返事(ステータスコード)の一つです。直訳すると「リクエストが多すぎます」という意味になり、短時間に集中してアクセスが来た際に、サイト側から「今はアクセスが多すぎて処理しきれないので、少しペースを落としてください」と伝えるサインとして使われます。

そして、このHTTP 429というサインを受け取ったボット側が、アクセスの間隔を空けたり一時的に送信を止めたりして配慮する動作のことを バックオフ(backoff) と呼びます。サイト側が「少し待ってほしい」と明確にエラーを返しているにもかかわらず、ボットが減速や一時停止をせずにアクセスを続けようとするかどうかが、2つ目の重要な評価ポイントになります。

さらに注目したいのは、これらの観測結果の扱い方です。今回のシステムでは、たった1回の偶発的なエラーや一時的な違反があったからといって、即座にそのボットを「永久追放」や「不適格」と判定するわけではありません。

ネットワークの通信やプログラムの動作には、一時的なすれ違いや偶発的なミスがつきものです。たとえば、サイト側がrobots.txtの内容を書き換えた直後でボット側がまだ新しいルールを読み込めていなかったり、通信のタイミングでたまたま1回だけ制限に引っかかったりすることもあります。

そのためCloudflareのシステムでは、単発の事象で切り捨てるのではなく、時間軸を通じた「反復傾向(繰り返し同じような無視や過剰アクセスを行っているか)」を評価します。そして、その継続的な観測結果を trust band(信頼度区分) と呼ばれる区分に反映させ、時間をかけてボットの信頼性を測る仕組みをとっています。

具体的な場面で考える「配慮のあるボット」と「そうでないボット」

この2つの指標が実際のWebサイト運営においてどのような意味を持つのか、日常的な場面をイメージして考えてみましょう。

たとえば、あるWebサイトで「サイト内検索の結果ページ」や「ログインが必要な会員向けエリアの入り口」など、外部のボットに巡回してほしくないページをrobots.txtで指定していたとします。

配慮のあるボットであれば、最初にrobots.txtを読み取り、指定されたページへのアクセスを控えます。しかし、もし認証済みボットの中にrobots.txtの指示を軽視するものが紛れ込んでいた場合、運営者が「見ないでほしい」と意思表示しているページへ何度もアクセスを繰り返し、無駄な通信量を発生させてしまいます。

また、サーバーの負荷という面でも大きな違いが出ます。サイトに人間のアクセスが集まっている時間帯や、サーバーの処理能力に余裕がないタイミングで、ボットが毎秒のように次々とページを取得しに来たとします。このとき、サイト側(サーバーやセキュリティ機能)が防衛反応として「HTTP 429」を返して、アクセスを控えるよう求めたとします。

行儀の良いボットは、HTTP 429を受け取った瞬間に「今は相手側のサーバーが混み合っているな」と判断し、バックオフ(送信の一時停止や減速)を行ってサーバーの負担を和らげます。一方で、相手の状況を顧みないボットはエラーを無視してリクエストを送り続けるため、結果としてサイト全体の表示が遅くなったり、一般の読者がページを開きにくくなったりする原因になりかねません。

今回のCloudflareの取り組みは、こうした実際の通信のやり取りの中で「サイト運営者のルール(robots.txt)を尊重しているか」「サイト側のSOS(HTTP 429)に耳を傾けてペースを落とすか」という、ボットとしての基本的なマナーを継続的に見守る仕組みと言えます。

現在の導入状況と今後のロードマップ

この新しい評価システムについて、読者の方が最も気になるのは「自分のサイトにはいつから、どのように影響するのか」という点ではないでしょうか。ここでは、すでに始まっていることと、将来の計画として示されていることを明確に分けて整理します。

まず 現在のステータス として、Cloudflareはすでにこの評価システムを自社の 内部評価(internal evaluation) において利用開始しています。つまり、Cloudflareの内部では、認証済みボットが実際にどのような行動をとっているかの観測と評価がすでに動き出している段階です。

一方で、サイト運営者や一般のユーザーが直接この評価結果を見たり、設定に組み込んだりする機能については 将来の計画(ロードマップ) となっており、現時点では一般提供(GA)されていません。将来計画として発表されている主な内容は次の3点です。

Cloudflare Radarでの信頼スコアの公開

すべてのCloudflare顧客に対する本機能の提供

顧客自身による信頼閾値(threshold)の選択・設定機能

Cloudflare Radarとは、Cloudflareがインターネット全体のトラフィック傾向やセキュリティの統計などを公開している情報サイトです。将来的にここでボットの信頼スコアが公開されるようになれば、どのボットがどれくらいルールを順守しているのかを誰もが客観的に確認できるようになります。

また、全顧客への機能提供と「信頼閾値(threshold:しきい値)」の選択設定が実現すれば、サイト運営者は自分のサイトの運営方針に合わせて、「信頼度区分(trust band)が高いボットだけを通す」「少し基準を緩めて幅広く受け入れる」といった基準線を自分で選べるようになります。

たとえば、サーバーの余裕があまりなく、ルールを厳格に守るボットだけを受け入れたいサイトでは高い閾値を設定し、逆に多少のリクエストの多さには目をつぶってでも多くのサービスに情報を拾ってもらいたいサイトでは閾値を調整するといった、柔軟な運用が可能になると期待されます。

重要な注意点と未確認事項の整理

今回の発表を読むにあたっては、現時点で判明している事実と、まだ明らかになっていない事項を切り分けておくことが大切です。公式発表において現時点で未確認となっている事項と注意点をここにまとめておきます。

まず、将来計画として挙げられている機能の「一般提供(GA)の開始日」や「Cloudflare Radarでのスコア公開日」といった具体的なスケジュールは未確認です。また、信頼スコアやtrust bandを算出する具体的な計算アルゴリズム、設定可能になる閾値(threshold)の具体的な数値、そして現在観測されている各ボットの実際のスコアや性能についても公式発表では示されておらず未確認となっています。さらに、この仕組みを導入することによる具体的なトラフィック削減率や精度向上率などの数値も未確認です。

そのため、現時点でCloudflareを利用しているサイト運営者であっても、今日からすぐに管理画面に新しい信頼スコアの設定項目が現れたり、特別な操作なしに既存のボット対策の挙動が自動的に切り替わったりするわけではありません。ボットに対する現在の具体的な通信制御は、各サイトが利用している環境や契約プラン、個別のセキュリティ設定によって異なるため、将来計画の機能が今すぐ全利用者に適用されるわけではない点に注意してください。

サイト運営者が今のうちに確かめておきたい小さな確認手順

顧客向けの機能提供は今後のロードマップとなっていますが、今回の発表をきっかけに、Webサイト運営者が手元の環境で今から点検しておけることもあります。将来、信頼度区分に応じた設定が使えるようになったときにスムーズに活用できるよう、また日々の健全なサイト管理の一環として、次の3つの小さな確認手順を試してみてください。なお、具体的な画面や設定項目はご自身のサーバー環境やCloudflareの契約プラン・設定状況によって異なりますので、ご自身の環境に合わせて確認してください。

1. 自サイトの「robots.txt」の内容を確認する

まずは、自分のサイトがボットに対してどのような「案内板」を出しているかを確かめてみましょう。一般的なWebサイトであれば、ブラウザのアドレスバーに「自サイトのドメイン/robots.txt」と入力してアクセスすることで、現在公開されているrobots.txtの中身をそのまま読むことができます。

WordPressなどのシステムを使っている場合、プラグインや初期設定によって自動的に生成されていることも少なくありません。内容を見て、ボットに巡回してほしくない管理用パスなどが適切に記述されているか、あるいは逆に、検索エンジンに読み取ってほしい大切なページまで誤って拒否(Disallow)してしまっていないかを点検しておきましょう。サイト側の意思表示が正しく整っていてこそ、ボット側がそれを守っているかどうかの評価も意味を持ちます。

2. 過剰なアクセスに対する現在の設定を把握する

次に、短時間に大量のアクセスがあった際、自分のサイトやセキュリティ機能がどのように応答する設定になっているかを確認しておきましょう。

たとえば、Cloudflareのレート制限(Rate Limiting)機能やレンタルサーバー側のアクセス制限機能などを使っている場合、上限を超えたアクセスに対して「HTTP 429」を返すようになっているか、あるいは別のステータスコードで遮断する設定になっているかなど、現在の設定状況を把握しておきます。今すぐ設定を変更する必要はありませんが、「自分のサイトは過剰なアクセスに対してどう振る舞う設定になっているか」を知っておくことは、ボット対策を考える上でとても役立ちます。

3. 普段のボットアクセスの傾向を眺めておく

時間に余裕があれば、普段自分のサイトにどのようなボットが来ているのかを管理画面やアクセスログで眺めておくのもおすすめです。

Cloudflareを利用している環境であれば、管理画面のセキュリティやボット関連の項目から、認証済みボット(Verified bots)やそれ以外の自動アクセスがどれくらいの割合で来ているかを確認できる場合があります(表示される詳細度はプランや設定によって異なります)。普段のアクセス量の目安を知っておくことで、将来的に信頼閾値(threshold)を自分で選べるようになった際、「うちのサイトはこれくらいの基準にしておこう」と判断する良い材料になります。

まとめ:ボット対策は「身元の確認」から「行動の継続評価」へ

これまでWebサイトにおけるボットの扱いは、「怪しいボットか、それとも身元が確認された正規のボットか」という入り口での判別が中心でした。しかし、AIの普及やデータ収集の活発化に伴い、インターネット上を行き交うボットの役割や動き方はますます多様化しています。

そうした中でCloudflareが発表した「Continuous accountability for Verified bots」は、たとえ認証済みのボットであっても、robots.txtのルールを守り、HTTP 429のサインに対して適切にバックオフ(減速・一時停止)するといった「誠実な振る舞い」を継続的に求めていくという明確なメッセージと言えます。

現在はCloudflareの内部評価で稼働が始まった段階であり、Cloudflare Radarでのスコア公開や私たちが直接設定できる機能の提供は今後の予定となっています。まずは自サイトのrobots.txtなどの基本的な設定を見直しつつ、この新しい仕組みが一般提供される日を待ちたいところです。

出典・参考URL

Continuous accountability for Verified bots
Identity alone doesn't guarantee a bot will behave responsibly. We are introducing a system to continuously evaluate whe...
Cloudflare Blog
Technical deep dives, product updates, and insights from the teams that are helping to build a better Internet.
タイトルとURLをコピーしました