#DSPy の記事一覧（1）

AIエージェントのベンチマークはなぜ実用と乖離するのか?プリンストン大学の論文が指摘する5つの落とし穴

プリンストン大学のSayash KapoorやArvind Narayananらの研究チームが、AIエージェント評価の現状に潜む欠陥を指摘し、コスト制御や再現性確保など5つの改善策を提示する論文を公表しました。ベンチマーク上は優秀でも実用に耐えないエージェントが量産されている構造を、HumanEvalやWebArenaの事例で実証しています。