目的駆動型対話とは？LLMチャットボットが多ターン会話で「迷子」になる構造的限界
MMLUやHumanEvalなどのベンチマークが飽和する一方、ChatGPTやClaudeは数ターンの会話で指示を忘れ始める。The Gradientは、長文脈100kトークン対応モデルでも約1.6kトークン(8ターン程度)で注意が散漫になることを示し、現行のRLHFが「目的を持った対話」を学習できていないと指摘しました。
#RLHF の記事一覧（2）
AIアラインメントとは何か？OpenAIとAnthropicの「安全研究」が製品開発と一致する理由
The Gradient掲載の論考は、OpenAIやAnthropicが掲げるAIアラインメント研究の実態は、人類を破滅から救う取り組みというより、売れる製品を磨き上げるプロセスに近いと指摘します。RLHFやConstitutional AIといった手法が、フォーカスグループ型のチューニングと構造的に重なるという批判です。