何が起きたか
VentureBeatのPulse Researchシリーズ「Agentic Reliability & Evals tracker」が、企業157社（2026年6月調査、n=157）にAIエージェントの評価・信頼性の実態を尋ねました。技術リーダーが性能をどう測り、どの評価基盤を使い、本番で何が壊れ、どこまで人間なしにエージェントを走らせているかを追った調査です。
中心的な発見は「評価ギャップ（evaluation gap）」——企業がエージェントに与える自律性と、それを統制するはずの評価への信頼との間に開いた距離です。過去12か月で、社内評価を通過したエージェント／LLM機能が顧客向け障害を起こした企業は50%。うち26%は1回、24%は複数回経験しています。
なぜ重要か
矛盾しているのは、企業が評価を信じ切れていないのに権限を広げている点です。自動評価を「完全に信頼する」と答えたのはわずか5%で、残る95%は何らかの限界を挙げました。最多の理由は「現実の成果との整合性の低さ」（29%）で、評価バイアスや一貫性の欠如（21%）、説明可能性の欠如（18%）が続きます。
それでも66%は、低リスク領域で人間を介さない運用をすでに許可（34%）、あるいは12か月以内に可能にするパイプラインを構築中（33%）です。信頼していない道具で、監督を外そうとしている——ここに構造的なリスクがあります。
見落とされる「自信を持った誤答」
本番監視には、システムが動いているかを見る監視と、エージェントの出力が正しいかを見る監視の2種類があります。前者だけでは、堂々と間違った回答（confidently wrong）は正常として素通りします。実際、本番トラフィックにリアルタイムの品質チェックを回している企業は約4分の1に過ぎません。
評価スタックも断片的で、プロバイダ主導です。首位はOpenAI Developer Platformのネイティブ評価（17%）ですが、それと同率で「専用ツールなし」（17%）が並びます。以下、Anthropic Claude Console（13%）、Confident AI（DeepEval、12%）、自社内製（11%）、Braintrust（8%）と続き、LangSmith、Weave、Promptfoo、Langfuse、Arizeは数%台にとどまります。
規模別では、大企業（2,500人以上、57社）の方が中小（100社）よりわずかに監督撤廃が進み（70%対64%）、評価通過後に顧客障害を起こした割合も高めです（54%対48%）。なお本調査は6月に「LLM observability and evaluations」調査から再設計されたため、4〜5月との比較は行われていません。
💼 事業会社視点：これは自社にどう効くか
日本企業がここから読むべきは「社内デモが通った＝顧客に出せる」ではない、という一点です。ECやSaaSでチャット応対・注文処理・与信のようなエージェントを本番投入する事業責任者は、自信ある誤答が「システム正常」と表示される盲点を前提に設計する必要があります。監視予算を稼働率だけでなく出力正しさのリアルタイム検証（現状は業界でも約4分の1しか実施していない）に振り向けるべきです。受託開発・SIerにとっては逆に商機で、「評価と本番監視の設計」自体が提案の差別化軸になります。プロバイダ純正評価に丸ごと依存する構成（首位でも17%、同率で専用ツールなし）は、自社の顧客成果と整合しないリスクを抱えるため、ドメイン固有の合否基準を自前で持つことが要点です。役員層は「12か月以内に人間を外す」流れに乗る前に、外す条件（どのリスク階層まで、どの誤答率で）を明文化し、監督撤廃の意思決定を現場任せにしないことが実務的な打ち手になります。
