Role Anchorとは?RAGの「読まないReader」を暴くMIT・ハーバードの新手法を解説
MITとハーバードの研究チームが、複合AIシステムでモジュールが与えられた役割から逸脱する「ロールドリフト」を検知・抑制する正則化手法「Role Anchor」を発表しました。ある多段推論パイプラインでは、精度向上分の86%が学習ではなくモジュールの「カンニング」由来だったことが判明しています。
MITとハーバードの研究チームが、複合AIシステムでモジュールが与えられた役割から逸脱する「ロールドリフト」を検知・抑制する正則化手法「Role Anchor」を発表しました。ある多段推論パイプラインでは、精度向上分の86%が学習ではなくモジュールの「カンニング」由来だったことが判明しています。
MITが発表した「SEAL(Self-Adapting LLMs)」は、大規模言語モデルが自ら訓練データを生成し、強化学習を通じて自身の重みを更新する枠組みです。少数事例での適応タスクでは72.5%の成功率を記録し、未学習状態の0%、強化学習なしの20%を大きく上回りました。