AIがAIを訓練する「AAR」とは?Anthropic論文が示す再帰的自己改善の現在地
Anthropicが金曜に公開した論文「Automated Researchers Can Reliably Mitigate Alignment Failures」は、自動化されたAI研究者(AAR)が10種のアライメント・ベンチマーク全てでモデル性能を改善し、しかも全体性能を落とさなかったと報告しています。論文は時給約4ドルのAPI推論コストと、人間研究者に支払う時給150ドルを並べて比較しています。
Anthropicが金曜に公開した論文「Automated Researchers Can Reliably Mitigate Alignment Failures」は、自動化されたAI研究者(AAR)が10種のアライメント・ベンチマーク全てでモデル性能を改善し、しかも全体性能を落とさなかったと報告しています。論文は時給約4ドルのAPI推論コストと、人間研究者に支払う時給150ドルを並べて比較しています。
Google DeepMindが、仮説生成AI「Co-Scientist」を実験計画・装置制御・論文執筆まで担う研究パートナーへ拡張し、材料科学・生物学・計算機科学の3分野で実験検証済みの結果を出したと発表しました。信頼性モジュール有効時の重要結果の捏造率は4%(無効時46%、比較システム90%)で、一方で医療AIの性能はベンチマークと医師評価が食い違いました。