何が起きたか
カリフォルニアを拠点とするAI安全性の非営利団体FAR.AIが、米国4社のフロンティアモデルの安全対策（ガードレール）を検証した報告を公開しました。手法はシンプルです。問題のあるプロンプトを起点に、1,000通り以上の言い換えを自動生成し、どれかが通るまで試す。攻撃の狙いは、ソフトウェアの脆弱性を突くコードの生成や、化学・生物兵器の開発情報の引き出しといった典型的な悪用領域です。
結果は明確に分かれました。脱獄が成立した件数はGrok 4.3／4.5が448件で最多、Gemini 3.1 Proが249件。対してClaude Opus 4.8、Fable 5、GPT 5.5／5.6は、この攻撃セットを通しませんでした。WIREDのWill Knight記者は、モデルが架空の水力発電ダムへのサイバー攻撃計画を詳細に生成する様子を実際に観察しています。ただし一発で通るわけではなく、数十回のプロンプトを要し、多くは即座に拒否されたとされます。
なぜ重要か
注目すべきは件数よりも「単価」です。FAR.AIは脱獄プロンプトの生成そのものを別のAIモデルに任せることでコストを算出し、Grokは58ドル、Geminiは278ドルという数字を出しました。攻撃の希少性が前提だった防御設計は、この価格では成り立ちません。人間の専門家が試行錯誤するコストではなく、AIがAIを攻撃する自動化コストが基準になったということです。
もう一点、この差が「技術的に不可能だから」ではなく「実装しているかどうか」で生じている点が重要です。Stanford大学のAnka Reuel氏は、一部の企業は少なくとも今回テストされた範囲の攻撃への防ぎ方を明らかに知っている、問題はなぜある企業は使い、ある企業は使わないのかだと指摘しています。同氏はAnthropicとOpenAIが用いている安全策が全モデルの標準になるべきだ、というのが今回の要点だと述べています。
数字の読み方には留保がある
報告を額面通りに受け取るべきではない、という声も当事者から出ています。Google DeepMindでAGI安全性・アラインメントを統括するRohin Shah氏は、この結果をGeminiの安全性・セキュリティの包括的評価と解釈すべきではないと述べ、すべての脱獄が同じ深刻度ではないことを理由に挙げました。同氏は継続的な防御改善、深刻な悪用リスクを対象とした広範なレッドチーミング、開発から展開までの多層的な保護の適用を強調しています。Anthropicの広報Michael Aciman氏は、今回の結果は同社が安全策に持続的に投資してきたことの反映であり、攻撃の高度化に合わせて安全システムを進化させ続けるとコメントしました。OpenAIとSpaceXAIはWIREDの取材に応じていません。
FAR.AI自身も、今回の攻撃に耐えたことは、より複雑なやり取りを伴う高度な脱獄への耐性を意味しないと注意を促しています。「今回の攻撃セットには強かった」以上のことは言えない、というのが妥当な読み方です。
規制と実害の時間軸
FAR.AIのCEO Adam Gleave氏の言葉は率直です。「いまのAIモデルはレストランよりも規制されていない」。そして、自主的なコミットメントに頼る、AI企業が自己規制できるという話はナンセンスだと切り捨て、外部から課される基準と規制が必要だと主張します。一方で「楽観できる側面もある。防御と安全は本当に可能だ」とも述べており、体系的な安全性テストが機能したこと自体は前向きな材料だという見方です。
米国では州レベルが先行しています。カリフォルニア州とニューヨーク州で最近成立した法律はフロンティアAI開発者に安全性報告の公開を義務づけ、イリノイ州の法律は近く第三者監査人による安全慣行の評価を求めます。連邦政府は個別の安全要件をまだ法制化していません。ただし介入自体はすでに起きています。6月、トランプ政権は国家安全保障上の懸念を理由にAnthropicのFable 5とMythos 5に輸出規制を課し、同社は数週間これらをオフラインにしました。ホワイトハウスは新たなサイバーセキュリティリスクへの懸念から、AnthropicとOpenAIの両社に直近のモデルリリース延期を要請しています。大統領令は政府と民間のサイバーセキュリティ協働を求め、大統領は軽めの規制を準備中だと示唆しています。規制の方向はまだ定まっていない一方で、行政の裁量による突然の可用性停止はすでに現実です。
悪用の兆候も報告されています。ケンブリッジ大学の報告は、ナイジェリア北東部のボコ・ハラムのメンバーがChatGPT、Claude、Gemini、Grok、Meta AI、DeepSeekを暴力的な攻撃の計画に使った証拠を示しました。ハーバード大学の計算機科学者Stephen Casper氏は、AI研究コミュニティには、フロンティアAIの能力を悪用した生物・サイバー・化学分野の特に深刻な事案が、年単位ではなく月単位の先に迫っているという重い共通認識があると述べます。さらに同氏は、近い将来から中期に大きな悪用事案が起きるなら、それはほぼ確実に最先端の安全策なしに展開されたシステムからだろうと予測しています。
💼 事業会社視点：これは自社にどう効くか
事業会社にとっての実務的な含意は「モデル選定は性能とコストの二軸では足りない」という一点です。
SaaS・ECでの外部向けAI機能：エンドユーザーがプロンプトを自由入力できる導線（チャットサポート、商品説明生成、社内文書検索のUI公開）を持つなら、モデル選定にガードレール耐性を入れるべきです。今回の報告で脱獄が成立したのはGrokとGeminiですが、より重要なのは58ドルという単価です。自社のAI機能が有害出力を吐いた画面はスクリーンショット一枚で拡散します。悪意ある利用者が数十回の試行を回すコストは、もはや抑止力になりません。安全対策は自社のガードレール実装だけに頼らず、基盤モデル側の耐性も含めて二重で見積もってください。
受託開発・SI：顧客提案書のモデル選定根拠に「安全性検証の外部レポート」を根拠として引く準備を。特に金融・医療・公共案件では、調達側がこの種の第三者評価を要求してくる流れが強まります。イリノイ州の第三者監査要件のような動きは、日本のエンタープライズ調達要件にも波及します。
モデル依存リスクそのもの：6月にAnthropicのFable 5とMythos 5が輸出規制で数週間オフラインになった事例は、単一モデルへの依存が事業継続リスクだと示しています。プロンプトとワークフローをモデル非依存の抽象層に置き、代替モデルへ数日で切り替えられる状態を作るのは、いまや技術的な好みではなく経営判断です。