何が起きたか

Anthropicは、Claudeに組み込まれていた「フロンティアLLM開発を目的としたリクエストを特定し、ユーザーに知らせないまま回答の有効性を制限する」という方針を撤回しました。この方針はClaude Fable/Mythosのシステムカードに記載されていたもので、Wiredの記者Maxwell Zeff氏が報じています。

撤回の経緯

問題となったのは、Claudeが「フロンティアLLM開発を狙ったリクエスト」と判断した場合に、その事実をユーザーに伝えずに回答品質を意図的に下げる仕組みでした。AI研究者の作業を「妨害（サボタージュ）」しかねない設計だとして、公表後に大きな反発が広がりました。

Anthropicは「Fable 5のフロンティアLLM開発に関する安全策を、可視化する形に変更する」と表明。さらに「我々は誤ったトレードオフを選択した。バランスを取れなかったことを謝罪する」とコメントしています。

なぜ重要か

ユーザーに気付かれない形で出力を制限する仕組みは、AI開発における透明性や信頼性の根幹に関わる問題です。とりわけClaudeをLLM研究や開発に利用している研究者・エンジニアにとっては、得られた回答が意図的に劣化していたかどうかを知る術がないことが致命的な懸念となっていました。今回の撤回と「可視化」への方針転換は、AIベンダーとユーザーの間の信頼関係を立て直す一歩と位置付けられます。

関連リンク