何が起きたか
VentureBeat Intelligenceの「Agentic Reliability & Evaluations Pulse Tracker」7月版は、従業員100人以上の企業に属する108人（うち69%がAI購買の最終決裁者または影響者、63%が従業員100〜2,499人規模）への調査です。6月の157人と合わせ2か月で265件の回答が集まりました。
数字の並びが奇妙です。自動評価を全面的に信頼すると答えた層は5%から13%へ増え、「テストと実世界の結果が噛み合わない」を最大の懸念に挙げた層は29%から19%へ10ポイント減りました。一方で、テスト合格後に顧客可視の問題が起きたと答えた割合は50%→49%とほぼ動いていません。24%は「複数回起きた」と答えています。信頼だけが上がり、結果は改善していない、という構図です。
「焼かれた企業」ほど自動化に進むという逆説
興味深いのはクロス集計です。テスト合格後の失敗を経験した企業で自動チェックを完全に信頼するのは4%（53社中2社）、未経験の企業は24%（41社中10社）で6倍の開き。ここまでは直感どおりで、痛い目に遭った側は自動評価を信じていません。
ところが、人間の承認を外す方向（低リスク領域での無承認デプロイ）を目指す割合は、失敗経験組が85%、未経験組が61%。エンドツーエンドの自動デプロイを今後も拒否すると答えたのは、失敗経験組で11%、未経験組で24%です。「評価は信じていないが、人間のゲートも外す」——一見矛盾したこの態度が、失敗を知る側でむしろ強い。
記事はこれを無謀さと断じず、成熟度による説明を併記しています。エージェントを多く・高頻度で走らせている組織ほど、失敗に遭遇する確率も自動デプロイ基盤を持つ確率も高い。今回の調査ではどちらの説明が支配的かは判定できません。
もう一つの読み筋は、人間承認レビューが実際には機能していないという学習です。テストを通過し、人間が承認したものが顧客の前で壊れたなら、承認ステップは品質保証ではなくリリース遅延にしかなっていなかった、と。
監視は「動いているか」しか見ていない
本番監視の実態が、この不安を裏づけます。有効回答106件のうち、ライブトラフィックへの自動ジャッジやガードレール（インライン品質アサーション）が26%、トランザクショントレース（スパン、トークン使用量、生の入出力）が26%、ゲートウェイ指標（レイテンシ、エラー、コスト）が24%。何を見ているかで束ね直すと、半数はエージェントが「動いているか」を見ているだけで、出力が「正しいか」を自動監視しているのは4分の1強にすぎません。
決定的なのは、すでに限定的に無承認デプロイを許している40社のうち、ライブ回答の意味と正しさを自動チェックしているのは28%だけ、という点です。人間のゲートを外しながら、それを代替する自動ゲートは置かれていない。
RaindropのCTO、Ben Hylak氏はVentureBeatへのダイレクトメッセージで「我々が知っている形でのevalの大いなる衰退を目撃している」と述べ、「Fortune 100はeval セットを縮小し、メンテナンスの優先度を下げつつある。MCPやサブエージェントなどでシステムが複雑になるほど、失敗ケースを網羅的に列挙することは不可能になる。代わりに彼らは本番前後のアノマリー検知・イシュー検知に寄りかかっている」と指摘しています。事前に失敗を数え上げる発想から、異常を早く見つける発想への移行です。
ツール市場は「つながりやすさ」で選ばれ始めた
主要評価プラットフォームのシェアはOpenAIネイティブのevals／traces 18%、Confident AIのDeepEval 17%（6月12%）、Braintrust 15%（同8%）、AnthropicのClaude Console／Workbench 12%、専用プラットフォームなし12%（5ポイント減）。Braintrustの伸びは単独ベンダー最大で、統計的に有意と報告書が明示した唯一の変化です。スタック全体での採用率ではOpenAI 31%、DeepEval 27%、Braintrust 22%、Anthropic 20%、内製14%、Weights & Biases WeaveとLangfuseが各11%。
購買の決め手は統合の容易さが12ポイント増の39%で首位に立ち、コストは28%→23%に後退、評価精度は28%で2位。満足度・実装の容易さ・経済価値の平均は5点中3.9。乗り換え意向は64%→56%に冷え、現状維持が8ポイント増の44%になりました。成功指標の首位は評価の一貫性38%、次いで失敗・リグレッションの減少20%。投資を増やす領域は人が関与するレビュー体制31%が本番オブザーバビリティ30%をわずかに上回り、自動評価パイプライン19%、安全性・ポリシー準拠テスト16%と続きます。評価そのものへの投資より、人とレビューの設計に金が向かい始めた形です。
読み方の注意
この調査は確率標本ではなく自己選択型です。失敗経験の有無による分割は41〜53人、その他のクロス集計も40〜68人規模で、方向性として読むべき数字です。業種構成も���いており、テクノロジー・ソフトウェアが9ポイント減の14%、小売・消費財が4ポイント増の19%。前月比の変化には回答者層の入れ替わりが混ざっています。
また49%は「過去1年に、社内テストを通過したAI機能で少なくとも1回、顧客に見える問題が起きた組織の割合」であり、実行あたり・ベンダーあたりの失敗率ではありません。記事が指摘するとおり、デプロイあたりの失敗率が一定でもデプロイ量が増えれば総インシデント数は増えます。企業の割合が横ばいでも、現場で起きている事故の絶対数は増えている可能性がある——7月データはその量を測っていません。
💼 事業会社視点：これは自社にどう効くか
日本企業の役員が持ち帰るべきは「人間承認は品質保証ではない」という一点です。49%が社内テスト合格後に顧客可視の問題を出し、24%は複数回。テストと承認印を通しても半数が事故る以上、稟議型のリリース承認は事故を止めず、リードタイムだけを食っています。
ECなら、レコメンドや自動応答が誤情報を出しても、ゲートウェイ指標（レイテンシ・エラー・コスト）は正常のままです。監視の半数が「動いているか」しか見ていない構造は、日本の運用現場でも同じでしょう。SaaS事業者は、無承認デプロイ組40社のうち出力の正しさを自動検証しているのが28%という事実を自社の鏡にしてください。人手のゲートを外すなら、その前にインライン品質アサーション（本番トラフィックへの自動ジャッジ）を置くのが順序です。
受託開発・SIerには商機と地雷が同時にあります。購買の決め手が統合の容易さ39%に移り、コストが23%に落ちた以上、既存パイプラインに刺さる実装力が売り物になる。一方、Hylak氏の言う「evalセットの縮小」を安易に真似れば、検収基準を失ったまま納品することになります。
今週の打ち手は三つ。(1)過去1年に「テスト合格後に顧客が気づいた不具合」があったかを棚卸しする、(2)本番の出力正誤を自動判定する仕組みの有無を確認する、(3)人間承認を外す領域を低リスクに限定し、代替ゲートとセットでしか外さないと明文化する。投資先の1位が人中心のレビュー体制31%だった意味は、人を減らすのではなく、人を置く場所を承認からレビュー設計へ移すことにあります。