何が起きたか
Anthropicが公表した安全性レポートによると、化学・生物兵器に関する危険な知識の引き出しを防ぐために設けられた「ブロッキング分類器」が、2025年5月から2026年4月までの約1年間、無効な状態になっていました。影響を受けたのは、モデルに人間のフィードバックを与える外部委託者からのトラフィックです。対象人数はおよそ5万人、チャット数はおよそ1億3300万件。同社はその後、社内調査で実際の悪用を示す証拠は見つからなかったとしています。
なぜ重要か：問題は「抜けたこと」より「気づかなかったこと」
このニュースの本質は、分類器が突破されたことではありません。安全装置が外れた状態が約1年間、検知されないまま運用され続けたという「監視の不在」です。AnthropicのCEOは、AIによる化学・生物兵器開発の支援をサイバー攻撃よりも大きな脅威だと述べてきました。その最優先の脅威に対する防御が、機能しているかどうかの確認ルーチンから抜け落ちていたことになります。
ガードレールは実装した瞬間が最も安全で、その後は静かに劣化します。モデルの更新、推論基盤の入れ替え、フラグの設定ミス——どれもログには「正常」としか残りません。ブロックされた件数がゼロに近づいたとき、それを「安全になった」と読むか「検知が死んでいる」と疑うかは、運用設計の思想の差です。
もう一つの盲点：ベンダー経由の人的審査
Anthropicは、対象となった委託者の審査が外部ベンダー任せであり、そのスクリーニングが十分でないことが多かったと認めています。技術的なフィルタと人的な身元確認は、本来どちらかが欠けても片方で補える二重の防御であるはずでした。今回はその両方が同時に薄くなっていた構図です。同社はすでに委託先への要件を厳格化しています。
締めるのか、緩めるのか
Anthropicは直近、Fable 5では逆にフィルタが過剰で正当な研究まで妨げるという研究者の指摘を受け、分類器を緩める調整を行っています。締めれば使えず、緩めれば漏れる——この綱引きの中で「今どちらに寄っているか」を把握し続けること自体が、安全性運用の中身だと言えます。
💼 事業会社視点：これは自社にどう効くか
AI活用を進める事業会社にとって、この事例は「ベンダーの安全対策を前提に自社のリスク評価を組み立てる」ことの危うさを示します。フロンティアAI企業ですら、最重要と位置づけた防御が1年間止まっていたことに気づけませんでした。
SaaS・自社プロダクト提供企業は、プロンプトインジェクション対策や出力フィルタについて「導入した」で終わらせず、意図的に弾かれるべき入力を定期投入して検知が生きているかを確かめる、いわば火災報知器の点検に相当する仕組みを運用に組み込むべきです。ブロック件数のゼロ更新はアラート条件として設計してください。
受託開発・BPO事業者への示唆はより直接的です。今回の発端はアノテーションなど人的作業を担う外部委託者の審査不備でした。AI関連業務を再委託する構造では、身元確認の水準が発注元の説明責任に跳ね返ります。SOWに審査基準を明記できるかが受注条件になっていきます。
EC・製造業など利用側は、この開示を減点材料ではなく評価軸にすべきです。不備を自ら公表するベンダーと、何も起きていないと言い続けるベンダー。調達時に問うべきは「事故はあったか」ではなく「事故をどう検知し、どう開示するか」です。