AIエージェント評価は「1件満点」では危険——コホート対比評価とは何か、LangChain・Convivaが語った次の潮流
VB Transform 2026で、LangChain・Conviva・CoreWeaveの登壇者は「1件の会話ログが満点でも製品は壊れている」ことがあると指摘。個別トレースの採点から、利用者集団をベースラインと比べるコホート対比評価へ、そして安価で用途を絞った小型ジャッジモデルへと評価手法が移りつつあります。
#LangChain の記事一覧（2）
LangGraph・Langflow・LangChainに連鎖する脆弱性、AIエージェント基盤に潜む「古典的バグ」の事業リスク
Check Point、Tenable、Cyeraが、月間5000万ダウンロードのLangGraphを含む主要AIエージェントフレームワーク3種にRCEや認証情報窃取につながる脆弱性を相次いで報告。Langflowはすでに約7,000台の露出インスタンスが実攻撃にさらされています。