LLMは長文の技術解説がなぜ苦手なのか？AI研究者が教科書執筆で測った「省力化は10〜20%」の現在地
post-training教科書『Reinforcement Learning from Human Feedback』を書き上げたInterconnectsの著者が、LLMは長文ノンフィクション執筆でここ数年ほぼ停滞しており、本の執筆で節約できた労力は10〜20%にすぎないと報告しました。同じ期間にコーディングと数学は「まあまあ」から超人級へ進んだにもかかわらず、です。
#RLHF の記事一覧（3）
目的駆動型対話とは？LLMチャットボットが多ターン会話で「迷子」になる構造的限界
MMLUやHumanEvalなどのベンチマークが飽和する一方、ChatGPTやClaudeは数ターンの会話で指示を忘れ始める。The Gradientは、長文脈100kトークン対応モデルでも約1.6kトークン(8ターン程度)で注意が散漫になることを示し、現行のRLHFが「目的を持った対話」を学習できていないと指摘しました。
AIアラインメントとは何か？OpenAIとAnthropicの「安全研究」が製品開発と一致する理由
The Gradient掲載の論考は、OpenAIやAnthropicが掲げるAIアラインメント研究の実態は、人類を破滅から救う取り組みというより、売れる製品を磨き上げるプロセスに近いと指摘します。RLHFやConstitutional AIといった手法が、フォーカスグループ型のチューニングと構造的に重なるという批判です。