何が起きたか
プリンストン大学のArvind Narayanan、Sayash Kapoor、ポスドク研究者のStephan Rabanserらが、AIエージェントの信頼性を体系的に測定するドラフト論文を公開しました。原子力・航空安全の知見を借り、信頼性を「一貫性」「頑健性」「予測可能性(キャリブレーション)」「安全性」の4カテゴリ・12次元に分解した点が特徴です。
OpenAI・Google・Anthropicの計14モデルを、汎用アシスタント評価のGAIAと顧客対応シミュレーションのTauBenchという2つのベンチマークで評価。各タスクを言い換えた指示で5回ずつ、計500回実行し、ツール側にフォールトを注入して頑健性を、信頼度の自己申告でキャリブレーションを測定しました。
なぜ重要か
結論はシビアです。約2年の能力進化に対し、信頼性の向上は限定的でした。3社のモデルは似た水準に集まっており、業界横断の限界がうかがえます(ただしAnthropicが他社を上回る場面もあります)。
- 一貫性スコアは30〜75%と幅が広い
- 同義の言い換えだけで性能が大きく低下する
- 予測可能性は最弱で、自分の正誤を偶然以上に見分けられないモデルが多い
- 安全性は改善傾向だが、誤課金など金銭エラーは残存
- モデルを大型化するとキャリブレーションは改善するが、一貫性はむしろ悪化することがある
自律運用に必要な水準
著者らは、高リスク領域での自律運用には99.9〜99.999%(3〜5ナイン)の精度が必要と主張します。航空業界は10億飛行時間あたり1件の致命的事故、原子炉の保護システムは条件成立時に毎回同じ反応——これが「人命を預けられる信頼性」の基準です。LLMベースのエージェントがここに到達する道筋は、現状の延長線上には見えない、というのが論文のトーンです。
💼 事業会社視点：これは自社にどう効くか
役員視点:エージェント導入は「自動化」と「拡張」を切り分けよ
この研究が日本企業の経営判断に突きつける論点は明確です。「賢くなった=任せられる」ではないということ。同じ意味の指示を言い換えただけで性能が落ち、自分の正誤を見分けられないモデルが多数派という事実は、エージェントを業務に組み込む際の前提を変えます。
- EC・小売:カスタマーサポートや返金・与信などの金銭処理は要警戒。安全性次元で「誤課金」が常態的な失敗モードとして残るため、最終承認は人間に残す設計が当面の現実解です。
- SaaS・受託開発:エージェント機能を売る側は、精度(accuracy)だけでなく一貫性・頑健性を含む「信頼性プロファイル」をSLAに織り込む競争に入ります。論文が提唱する航空業界型の認証思想は、エンタープライズ調達の評価軸として早晩持ち込まれるでしょう。
- 全業種共通:Narayananらの提言「自動化(automation)と拡張(augmentation)を区別せよ」は、PoC稟議のテンプレに入れる価値があります。本番投入前に信頼性閾値とインシデント報告体制を要件化し、「能力デモ」で意思決定しない仕組みを作ることが、役員の最初の打ち手です。