何が起きたか
英国のAI Security Institute(AISI)が、GPT-5、GPT-5.5、Opus 4.5、Opus 4.8、Sonnet 4.5といったフロンティアモデルを、TerminalBench 2.0、SWE-Bench Pro、Humanity’s Last Exam、HealthBench、METRのタスク群など7つのベンチマークで評価しました。結論は明快です。標準的なベンチマークが採用してきた「固定のトークン予算」は、AIエージェントの実力を系統的に低く見せてしまう、というものです。
「点」ではなく「曲線」で見る
AIエージェントの性能は、テスト時計算量(test-time compute)の増加とともに上昇する曲線を描きます。曲線が伸びている途中で予算を打ち切れば、それは単に「最低スコア」を測っているにすぎません。実際、ソフトウェア工学タスクでは予算を100万から1000万トークンに増やしただけで成功率が約25ポイント跳ね上がり、数学・学術系のHumanity’s Last Examでは500万トークンまでで約22ポイント伸びました。サイバー分野では約8%のタスクが1000万トークン超でしか解けず、5000万トークン級を要するものもあります。
「エージェントが自分の答えを検証できるか」が鍵
AISIは重要な条件を指摘しています。追加の計算資源が効くのは、コードを実行したり脆弱性を試したりして、エージェント自身が結果を検証できる場合です。医療系のHealthBenchのようにフィードバックが乏しい領域では、すべてのモデルが標準予算内で頭打ちになりました。つまり「金を積めば賢くなる」のではなく、「検証ループが回る領域でのみ、金が意味を持つ」ということです。
時間軸のダブリング速度が加速
METRの211件のソフトウェア工学タスクとAISIの78件のサイバータスクを分析すると、人間の熟練者にとっての所要時間とエージェントのトークン消費量は冪乗則に従います。1分の作業は数千トークン、1時間で数百万、1週間規模で数十億に達します。人間の熟練者で約20時間かかるサイバータスク「The Last Ones」は、どのモデルも3000万トークン未満では解けませんでした。
さらに衝撃的なのは、時間軸(タイムホライズン)の伸びです。250万トークンの予算では約40分程度だった処理可能な作業時間が、5000万トークンでは約4時間に拡大。フロンティア全体では約2時間から14時間へと広がります。AISIはかつて「フロンティアモデルのサイバー領域の時間軸は約4.7か月で倍増する」と推定していましたが、5000万トークン基準では約60%急峻になり、倍増周期は67〜91日から40〜50日に短縮されます。
「新しいモデルが常に強い」わけではない
興味深いことに、10〜30%のタスクでは新モデルが旧モデルより劣るケースも見られました。AISIは今後、複数の予算水準でモデルを試し、追加計算で到達範囲が伸びなくなる境目「minimum informative budget」を測定する方針です。安価なテスト結果から高予算時の性能を予測する試みも進めています。
💼 事業会社視点：これは自社にどう効くか
日本企業の経営者・事業責任者にとって、この報告は「AI導入評価の物差し」を根本から見直せという警告です。
受託開発・SI事業者：クライアントに提示するAIコーディング支援の効果検証を、Copilot標準プランのトークン枠内で行っていたなら、それは「最低性能の測定」に過ぎません。5000万トークン級の予算を切って再評価すれば、内製化提案の説得力が根本から変わります。
SaaS事業者：自社製品にAIエージェントを組み込む際、コスト最適化の名目で計算量を絞る設計は、競合が予算を積んだ瞬間に品質差で敗れます。「検証ループを回せる機能領域(コード実行・テスト・シミュレーション)」に絞って計算量を厚く配分し、それ以外は薄くする、という予算配分ポリシーの再設計が急務です。
EC・事業会社の情報システム部門：セキュリティ運用(脆弱性検証、ペネトレテスト補助)においては、時間軸のダブリング周期が40〜50日に短縮された事実は無視できません。半年前に「AIには無理」と判断したセキュリティ業務が、次回検討時には手の届く範囲に入っている可能性が高い。年次予算サイクルではなく、四半期での再評価プロセスへ切り替えるべきです。