Engineering · 統制

エージェント監視を「測る」——Anthropicが30,000台の自社データで提唱した3指標（2026年9月）

エージェントが自律的に動くほど、「その動きはちゃんと見えているか」という問いが重要になります。Anthropicは2026年9月17日、社内30,000台のエージェントから得た実測値を初公開し、カバレッジ・レビュー遅延・エスカレーション率という3指標を業界の測定標準として提唱しました（出典：anthropic.com/institute/measuring-pace-of-ai-development、2026-09-17）。

要点

✓Anthropicは2026年9月17日、エージェント自律化の進行速度を測る3指標を提唱：カバレッジ（何%の操作が監視対象か）・レビュー遅延（フラグ後どれだけ早くレビューするか）・エスカレーション率（何%の操作がブロック/フラグされるか）（Anthropic「Measurements for understanding the pace of AI development inside frontier labs」2026-09-17）
✓Anthropicの社内データ（2026年8月）：最多利用プラットフォームに約30,000台の並行エージェント、全操作に100%の監視カバレッジ、オンラインモニタによるブロック率0.002%（1件/約47,000件）（同報告）
✓オフラインモニタは週約100,000件のトランスクリプトをフラグし、分類器スクリーニング後に約50件が人間レビューへ到達（同報告）
✓Claude が AI R&D作業の26%を「leads」として分類——同報告は「完全自律（full autonomy）」とは明確に区別している（同報告）
✓(A) agens の監査ログ・RBAC・AIタスク監査・操作の巻き戻しは、3指標のうちカバレッジ（全操作記録）とエスカレーション設計（権限・承認フロー）に対応する設計になっています

「監視は自律化に追いついているか」——計測の起点

AIエージェントが企業の中核業務を担うようになるにつれて、設計者・管理者が向き合う問いが変わっています。以前の問いは「エージェントに何ができるか」でしたが、今は「エージェントの動きはちゃんと見えているか、そして監視は自律化のペースに追いついているか」です。

Anthropicは2026年9月17日、この問いに答えるための測定フレームワーク「Measurements for understanding the pace of AI development inside frontier labs」を公開しました（anthropic.com/institute/measuring-pace-of-ai-development）。同報告は社内の実測値を初めて開示したうえで、フロンティアラボが共通して測定・公開すべき指標として3軸を提案しています。「自社でこれだけ測れた——他ラボも同じ軸で測れるはずだ」という論拠を持つ提言です。

自律化の進行速度と監視の健全性を示す3指標

Anthropicが2026年9月17日に提唱した3指標（数値はAnthropicの2026年8月社内データ）。左：カバレッジ（監視カバー率）。中：レビュー遅延（フラグ後の確認時間）。右：エスカレーション率（ブロック/フラグ率）。

3指標の定義と、Anthropicが開示した自社の数値

カバレッジ（Coverage）——エージェントの操作のうち何%が監視対象になっているかを示す指標です。Anthropicは自社の最多利用プラットフォームについて、全操作がオンラインモニタ（事前）とオフラインモニタ（事後）の両方を100%通過していると報告しています。この「カバレッジ100%」はツールの存在ではなく、実際の通過率として測定されている点が重要です。なお同報告はカバレッジ100%が検知率100%を意味しないとも注記しています——監視経路を全件通過させることと、問題を漏れなく検知することは別の問題です（Anthropic「Measurements for understanding the pace of AI development inside frontier labs」2026-09-17）。

レビュー遅延（Review Latency）——フラグが立ってから人間が確認するまでの時間です。監視ツールが存在することと、問題が実際に見られるまでの時間は別物です。Anthropicのオンラインモニタはブロックした操作を1週間以内に人間がレビューすると報告しています（同報告）。

エスカレーション率（Escalation Rate）——全操作のうちブロックまたはフラグされた操作の割合です。Anthropicのオンラインモニタは2026年8月の10億件以上のエージェント決定のうち約0.002%（1件/約47,000件）をブロックしたと報告しています。この率が高すぎれば監視が実用上の障壁になり、低すぎれば見落としのリスクが増す——率そのものより設計の合理性と変化のトレンドを見る指標です（同報告）。

10億件の決定が50件の人間レビューへ絞り込まれるまで

Anthropic社内プラットフォームの監視ファネル（2026年8月データ）。オンラインモニタ（事前）でブロック率0.002%、オフラインモニタ（事後）で週約10万件フラグ、分類器スクリーニング後に約50件が人間レビューへ到達。(出典: Anthropic「Measurements for understanding the pace of AI development inside frontier labs」2026-09-17)

「AIがやっている」の中身——26%の意味と完全自律との違い

同報告が開示したもう一つの数値は、AI R&D自動化率です。Anthropicは2026年8月時点で、ClaudeがAI研究開発作業の26%を「leads」していると報告しています。

「leads」はAnthropicが定義した特定の段階で、「高水準の指示からタスクの大部分をAIがほぼ完了でき、人間が監督する状態」を指します。同報告は「完全自律（full autonomy）」——人間の監督なしにAIがタスクを完了する段階——はまだどの作業サブセットでも達成されていないと明記しています。この「leads vs full autonomy」の区別は監視設計の文脈で重要な境界線です。完全自律が始まる前に、カバレッジ・レビュー遅延・エスカレーション率の3指標を計測する体制を作ることが提言の主旨です（同報告）。

さらに同報告はAnthropicがAI R&D向けコンピュートの約6%を安全性研究に配分していると報告しています（AIが主導するAI R&D（AI-driven AI R&D）に限定すると約12%）。ただし同報告自身が「コンピュートは安全性への注力度の不完全な代理指標（imperfect proxy）である。安全性研究は実験設計に研究者の時間を要する一方、実験の実行そのものはコンピュートをそれほど使わない」と注記しています。この「安全性への投資比率」も他ラボが開示を検討すべき測定軸として提案されています（同報告）。

企業エージェント設計への3つの示唆

(B) 「測定できないものは制御できない」をエージェント監視に当てはめると、3指標はそれぞれ設計上の問いに対応します。カバレッジの欠陥は「見えない盲点」を作ります。ツール呼び出しのログを取っていても、コンテキスト内の推論や一時ファイルへのアクセスをカバレッジに含めていなければ、インシデントの事後調査で空白が生じます。

(B) レビュー遅延は、監視の存在を実効性と混同してしまうリスクと向き合う指標です。全ログが保存されていても、ダッシュボードを誰も見ていなければ問題は発見されません。「誰が・いつ・どのフラグを確認するか」を運用手順として確立しない限り、カバレッジ100%でも遅延は無限大になります。

(B) エスカレーション率は閾値の設計問題です。事前承認ルールを厳しくしすぎるとエージェントが何もできなくなります。緩くしすぎると重大操作が素通りします。適切な閾値は業務・リスク許容度・運用体制によって異なり、「業界標準値」よりも自社基準の変化率のトレンドを監視する視点が有用です。

(A) agens の設計と3指標の対応

agens は全ツール呼び出しと操作を監査ログに記録します（カバレッジ）。RBACと承認フロー（リスクゲート型承認）は設定した権限スコープを超える操作を事前に制御し、エスカレーション率に相当する「高リスク操作の分離」を実現します。AIタスク監査ログは事後のレビュー（オフライン監視に相当）に使用でき、操作の巻き戻し機能は問題発生後の修復を可能にします。SSO/SAML/OIDC/SCIMとの連携により、エージェントの操作を組織のアイデンティティ基盤と接続し、誰がどのエージェントを通じて何を行ったかを一元的に追跡できます。

よくある質問

エスカレーション率0.002%は低すぎませんか？安全性の問題が見落とされていないですか？

Anthropicは同報告の中で、オンラインモニタのブロック率とオフラインモニタのフラグ率（週約10万件）は異なる役割を持つと整理しています。オンラインモニタは「直ちに重大な結果をもたらす可能性がある操作」を高精度で遮断することを優先しており、モデルの重みを外部へコピーする操作などを例に挙げています。一方、より幅広い挙動のレビューはオフラインモニタが担います。0.002%のブロック率はオフラインの週10万件フラグとセットで解釈する必要があります（Anthropic「Measurements for understanding the pace of AI development inside frontier labs」2026-09-17）。

3指標はすべての企業で同じ目標値を設定すればよいですか？

(B) 目標値は業務・リスク許容度・運用体制によって異なります。Anthropicが公開した数値はフロンティアAIラボの研究エンジニアリング作業における実測値であり、一般企業の業務エージェントに直接適用できる基準ではありません。目標値より「自社基準の変化率のトレンドを継続的に監視すること」と「カバレッジの空白を可視化すること」が先決です。

agens はこれらの指標を計算する機能を提供していますか？

(A) 現時点では、agens の監査ログとAIタスク監査機能がカバレッジ（操作記録の完全性）とエスカレーション率に相当するデータを提供しています。これらのログをもとに、組織の監視ダッシュボードやアラートシステムへ接続することで3指標の継続的な計測が可能です。(C) 3指標に対応した組み込みダッシュボード機能は今後の開発方向性の一つとして検討されています。

最終更新: 2026-09

agens を実際に動かしてみませんか?

デモ・お問い合わせ agens を詳しく見る他の技術解説を見る