何が起きたか

VB Transform 2026のセッションで、LangChainのHarrison Chase氏、ConvivaのHui Zhang氏、CoreWeave関連のEmmanuel Turlay氏が、AIエージェントの「評価(eval)」のやり方が変わりつつあると語りました。核心は、1件ずつの会話ログ(トレース)に点数を付ける方式の限界です。

Zhang氏が挙げた小売の例が象徴的です。あるランニングシューズをめぐる会話は、単体で見れば問題なく見えました。しかし利用者集団全体で見ると異常が浮かび上がりました。そのカテゴリでは、エージェントが聞き返す「確認質問」の比率がベースラインの3倍、会話の外で購入が完了した比率が5倍に達していたのです。1件の満点トレースは、壊れた製品のサインを覆い隠していました。

なぜ重要か

Zhang氏は、サンプリングした50件のトレースを切り離して採点することに反対し、利用者コホートをベースラインと比べる「対比分析(contrastive analysis)」を提唱します。同氏いわく、業界には第2のデータソース——会話の前・間・後に何が起きたか——が欠けており、トレースだけを見ていても失敗は見えません。

評価の設計思想そのものも見直されています。Chase氏は、出荷前に網羅的な評価セットを作ろうとして動けなくなる「eval paralysis(評価の麻痺)」を戒め、優れたチームはまず出して反復すると述べました。同氏は「Evalsは新しいPRD(製品要求仕様書)」と表現し、評価基準はエージェントが何をすべきで何をすべきでないかを定義する生きた仕様だと位置づけます。Turlay氏も、テストで100%カバレッジを目指しても本番でバグは出たと明かし、まず広く常時オンの監視を敷いて失敗の類型を特定し、そこから的を絞ったオフライン評価セットを組む順序を勧めました。

ジャッジモデルの現実解

「エージェントで別のエージェントを採点する(agent-as-judge)」手法はLLM-as-judgeを置き換えてはおらず、Chase氏によれば後者が依然デフォルトです。Zhang氏は根本の緊張を「スケールするが根拠に欠ける自動採点」と「根拠はあるがスケールしない人手レビュー」の間の選択と整理します。

コスト面の工夫も具体的です。Turlay氏のルールは、まず最も高性能なモデルで課題が解けることを証明し、二値分類のような単純作業では小型・オープンソースモデルへ落とすというもの。LangChainは、利用者が「エージェントが間違えた」と感じる「知覚エラー」を検出するため、Alibaba系のQwenモデルを手動ラベリングと蒸留を組み合わせてファインチューニングしました。同氏はこれをClaude Sonnetと同等の精度で、提供方法次第で10〜100分の1のコストにできたと述べています。一方でChase氏は、Claude Codeがガードレールに小型LLMではなく正規表現を使う例を挙げ、すべての防御に必ずしもモデルは要らないと補足しました。

最後に、人間の説明責任は残ります。TurlayとZhang両氏は、特に法務・金融・医療やコーナーケースでは人間が責任を負い続ける必要があり、「この判断を法的に引き受ける」と言える段階までエージェントが単独で到達するには時間がかかると述べました。Chase氏も、human-in-the-loopは信頼構築とエージェントの記憶・学習に不可欠だと強調しています。

💼 事業会社視点：これは自社にどう効くか

「AIを入れた」だけでは差がつかず、勝敗は評価設計に移りつつあります。日本のEC事業者やSaaSにとって示唆は明確です。個別の満点チャットに安心せず、シューズ例のように「確認質問が3倍」「会話外購入が5倍」といったコホート指標を、通常のKPIダッシュボードと並べて常時監視すべきです。会話ログだけでなく、その前後のCVRや離脱を第2のデータソースとして接続することが、静かな機能不全の早期発見につながります。受託開発・SES企業には価格戦略への影響が大きい。まず高性能モデルで解けることを示し、二値分類など単純処理はQwen等の小型モデルへ落とせば10〜100分の1のコストが狙え、提案の利益率を左右します。経営者への具体的な指示は二つ。第一に、完璧な評価セットを待つ「評価麻痺」を禁じ、広い常時監視から始めて失敗類型を拾う運用へ切り替えること。第二に、法務・金融・医療領域では最終責任を負う人間を必ず残し、その工数を撤退基準ではなく信頼構築の投資として予算化することです。