#プリンストン大学 の記事一覧(1)

AI
2024-07-03 ・ AI Snake Oil

AIエージェントのベンチマークはなぜ実用と乖離するのか?プリンストン大学の論文が指摘する5つの落とし穴

プリンストン大学のSayash KapoorやArvind Narayananらの研究チームが、AIエージェント評価の現状に潜む欠陥を指摘し、コスト制御や再現性確保など5つの改善策を提示する論文を公表しました。ベンチマーク上は優秀でも実用に耐えないエージェントが量産されている構造を、HumanEvalやWebArenaの事例で実証しています。

← タグ一覧へ