何が起きたか
Google DeepMindは、外部評価機関によるAIモデル評価を「双方が中身を見ないまま」実施するパイロットを始めました。パートナーにはシンガポールAI安全研究所などが名を連ね、対象モデルはGemini Flash Liteラインの1つです。技術基盤はGoogle Cloudの機密コンピューティング製品群にあるConfidential Spaceで、外部のテストデータとモデルがそれぞれの所有者の外に出ないことを暗号的に検証します。評価者はGeminiの重みを一切見ず、Googleもテストプロンプトを見ません。手法と結果はテクニカルレポートで公開されるとしています。
なぜ重要か
狙いはベンチマーク汚染（contamination）です。学習データにテスト問題が混入していれば、満点でも意味がありません。試験の問題を事前に知っている受験者のスコアを信用できないのと同じ構図です。これまで外部評価は、二つの妥協のどちらかを強いられてきました。評価側がテストプロンプトを提供元に渡して問題を先に見られるか、提供元が重みを渡して知的財産のリスクを負うか。DeepMindは、外部テストを暗号的な「箱」に閉じ込めることで、モデルが後からその問題に最適化することを防げると説明しています。
信頼の担保が「契約」から「技術」へ
これまで外部プロンプトの機密性は、ゼロログ運用や契約上の取り決めで守られてきました。今回の変化は、その保証を技術と暗号のレイヤーに移したことです。Googleはこれを、安全なモデル評価にとって大きな前進だと位置づけています。
このジレンマが実務でどれほど厄介かを示す例として、AnthropicのFable 5に対するARC-AGIベンチマークの評価が、同社が最上位モデルに課す30日間のデータ保持ポリシーのために遅延した件が挙げられています。安全側に倒したデータ方針が、そのまま第三者検証の障害になる。運用ポリシーと検証可能性がトレードオフになっている、という構造的な問題です。
どこに効く技術か
DeepMindは、この方式が最も効くのはサイバーセキュリティ評価や政府機関による検証といった、機微性の高い領域だとしています。独立機関が、データ主権やセキュリティを手放さずに先端モデルを厳密にテストできる——ここが要点です。国家の安全保障機関が自国の脅威シナリオをそのままプロンプトにして海外ベンダーのモデルを試す、といった従来なら成立しなかった検証が、原理的には可能になります。Googleはこれがモデル監督の新しい標準になり、業界全体でより信頼されるAIシステムを構築する助けになることを期待しています。
💼 事業会社視点：これは自社にどう効くか
日本企業にとっての含意は、AI調達の「証明可能性」が交渉材料になり始めた点です。金融・医療・公共系の受託開発やSaaSでは、ベンダーのモデル性能を自社の実データや業務シナリオで検証したいのに、そのプロンプト自体が機密で渡せない、というデッドロックが常態化してきました。今回Googleが示したのは、そこを契約書ではなく暗号技術で解く道筋です。
事業責任者が今動くべきは三点です。第一に、RFPやベンダー評価票に「モデル重みも評価データも相互に開示しない形での検証に応じられるか」という項目を入れる。答えられるベンダーとそうでないベンダーが可視化されます。第二に、自社ドメイン固有の評価セットを内製で持つこと。公開ベンチマークのスコアは汚染リスクを織り込んで割り引くべきで、自社の業務プロンプトこそが最も汚染されていない試験問題です。第三に、AnthropicのFable 5とARC-AGIの事例が示すように、ベンダーのデータ保持ポリシーは検証可能性と直結します。契約時にログ保持期間と第三者評価の可否をセットで確認してください。
SaaS事業者やAI受託開発の側から見れば、これは差別化の機会でもあります。顧客データを見ないまま精度を実証できる仕組みを先に整えた企業が、規制業種の案件で優位に立ちます。