CEO-Benchが測ろうとしたもの
研究者らが公開した「CEO-Bench」は、AIエージェントの「長期にわたる舵取り能力(steering intelligence)」を測るためのベンチマークです。発想の原点として、1997年に倒産寸前だったAppleをスティーブ・ジョブズが消費者/プロ×デスクトップ/ポータブルの2×2の4象限へ製品を整理し直して立て直した事例が引かれています。短期最適ではなく、複数の意思決定を矛盾なく長期につなぐ能力を問うものです。
エージェントは顧客ゼロ・現金100万ドルから架空のサブスクSaaS「NovaMind」を運営します。価格設計、広告費の配分、R&D、インフラ容量、サポート体制、エンタープライズ顧客との複数ラウンド交渉まで、34個のツールと19テーブルのデータベースをPython API経由で操作し、自らSQLを書きワークフローを組みます。500シミュレーション日のあいだに現金がゼロを下回れば破産で終了します。
なぜ難しいか
難しさの本質は遅延フィードバックと隠れ変数にあります。売上は請求日に確定し、R&Dは数日〜数週間かかる。顧客の満足度や支払意思額、最低品質期待値は見えません。シミュレータは26の顧客セグメントと、それぞれ予算・価格感度・期待値を持つ個別顧客を抱え、競合は定期的に品質期待を引き上げ、景気循環が需要を揺らします。Vending-Benchのように審判役をLLMが務めると口約束が報われてしまう弱点を避けるため、固定された透明なルールで採点される設計です。
結果が示した「素直に賢い」AIの少なさ
14モデルのうち大半は失敗しました。コマンドやクエリ自体はほぼ正しく生成できるのに、戦略の一貫性が続かず破産する例が多数。スタート資本超えはClaude Fable 5(4,715万ドル)、Claude Opus 4.8(2,780万ドル)、GPT-5.5(2,130万ドル)の3モデルだけで、複数回成功したのはFable 5のみでした。しかも一度は途中で続行を拒否し、別の試行では一部リクエストがOpus 4.8にフォールバックしています。GPT-5.5は3回中2回破産しました。
衝撃的なのは、LLMを呼び出さない単純なルールベースが1,576万ドルに到達し、上位3モデル以外のすべてを上回ったこと。研究者の推定では到達可能な上限は約22億ドルとされ、現状のAIはまだ天井にすら近づいていません。
勝ち筋にあった4つの能力
上位モデルは(1)隠れ情報の発掘、(2)将来予測(4週間後の現金予測誤差で測定)、(3)変化への即応、(4)if-thenシナリオによる事前計画、の4能力で平均を上回りました。Opus 4.8は顧客コホートをモデル化した「内製シミュレータ」を自作してキャッシュフローを予測し、GPT-5.5はDB内の交渉履歴を掘って顧客の隠れた選好を引き出していました。一方、Claude Opus 4.7はトラブルに対しコスト削減でしのぐ「生存型」で、利益を出さないまま生き延びる傾向が目立ちました。
興味深い副次結果として、Claude CodeやCodexのコーディング特化システムプロンプトで同じモデルを動かすと行動量が激減し成績も落ちました。50日に短縮した版ではGPT-5.5だけが黒字。短期の意思決定統合すらまだ苦手だということです。
出典: The Decoder
💼 事業会社視点：これは自社にどう効くか
日本企業の経営者がここから読むべきは2点です。第一に、「AIに任せられる経営判断」の現実的な範囲は、まだ極めて狭いということ。SaaS・EC・受託開発のいずれにせよ、価格、広告、R&D、容量計画を一気通貫で代行させる構想は時期尚早です。とくに事業責任者向けにAIエージェント製品を売り込んでいる国内ベンダーは、デモ映えする短期タスクではなく、500日相当の連続意思決定で何が壊れるかを社内で再現テストすべきです。
第二に、ルールベースが多くのLLMを上回った事実は、自社の業務自動化戦略を再考する材料になります。多くの中堅企業が「まずRPA/ルールで固める→次にLLMに置換」という順序を辿りますが、価格改定やマージン管理など数値で完結する領域は、無理にLLM化せずルールベースの方が安全で高収益という選択肢が残ります。CFOや経営企画は、ベンダー提案を受ける前に「同じKPIをルールで自動化したらいくら稼ぐか」をベースラインとして必ず置くべきです。AIに代行させるのは、隠れ情報の発掘や交渉履歴の解読といった、人間でも面倒な探索的タスクに絞るのが現時点での合理解です。
