何が起きたか
AI各社は、悪意あるハッカーによるモデル悪用を防ぐため、厳格なガードレール(利用制限)と、審査を通った利用者だけにアクセスを許す仕組みを整えてきました。ところが同じ制限が、犯罪者より先に未知の脆弱性を見つけて対策を用意する正規のセキュリティ研究者や、ネットワーク防御者の作業まで妨げているとTechCrunchが報じました。
象徴的なのがAnthropicのモデルをめぐる動きです。6月、米政府はAnthropicのMythosとFableに輸出規制を課しました。少なくとも一因は、これらのモデルのガードレールを回避すればサイバー攻撃を構築・実行できると主張する報告でした。Anthropicは以前からMythosを「厳格なガードレール下で慎重に審査した利用者にしか渡せない、破滅的なサイバーマシン」として位置づけてきました。規制はその後解除され、Fable 5は7月1日に一般提供へ復帰、Mythos 5は政府の審査プロセスの一環として審査済みの米組織にのみ再提供されています。
両社は審査制の窓口も用意しています。OpenAIの「Trusted Access for Cyber」、Anthropicの「Cyber Verification Program(CVP)」で、承認されればサイバー制限の緩いモデルにアクセスできます。
なぜ重要か——攻撃と防御は「切り離せない」
研究者の批判の核心は、攻撃用途と防御用途が原理的に分離できない点にあります。NCC GroupのChris Anley氏は「『このバグを悪用してみて』という問いは、脆弱性が本物かを確認する重要な工程だが、それを拒むガードレールは防御側を傷つける」と指摘します。「『このコードを直して』というプロンプトは、防御の必須手段であると同時に、致命的な脆弱性を見つける地図でもある。同じツールが攻撃にも防御にもなり、両者は解きほぐせない」。同氏はAIを「ハンマー」に例えます——家を建てるのに不可欠な道具だが、同時に不可分に武器でもある、と。
現場で何が起きているか
実務上の影響は「モデルとの交渉に時間を溶かす」ことだと、Chris Thompson氏は言います。ガードレールは日によって挙動が変わり、審査済みプログラム内でも一貫しない。脆弱性の悪用可能性を推論する代わりに、なぜ結果がぶれるのか、なぜ出力が過剰に無害化されるのかを調べる羽目になる、と。あるスマホ部品メーカーの研究者は、勤務先がCVPに参加していないため「セキュリティ関連の活動を検知すると止まって使い物にならない」と証言します。
一方で使い分けで割り切る研究者もいます。Crowdfenseのチームはクラウドのモデルを逆アセンブル(リバースエンジニアリング)に限って使い、脆弱性データの流出や学習への吸収を避けるためエクスプロイト構築はローカルのオープンソースモデルで行います。Giuseppe Cali氏も、コード理解や補助ツール作りにAIを使う一方、バグ発見と武器化は自ら握ると述べます。
問題は、行き詰まった研究者が向かう先です。彼らはGLMのような中国製オープンソースモデルへ押し出されつつあります。自由にダウンロードでき、審査も利用制限もなくローカルで動く——つまり米国が統治するシステムから、外国が所有するシステムへ移っているのです。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社にとって、これは「セキュリティ製品ベンダー選定」と「内製SOCの武器選び」の両面に効く話です。クラウドAIに脆弱性情報を投げると、機密がベンダー側に漏れたり学習に吸収されるリスクがある——Crowdfenseがクラウドを逆解析に限定し、悪用検証はローカルモデルで行う運用は、金融・製造・重要インフラを扱う日本企業のセキュリティ部門がそのまま真似すべき分離設計です。受託開発・SIerにとっては、顧客の脆弱性診断でAIを使う場合、ガードレールで作業が日替わりに止まる不確実性を工数見積もりに織り込む必要があります。経営者が押さえるべきは、規制で正規研究者が中国製オープンソースへ流れる構図です。海外モデルのローカル実行は制限を回避できる反面、供給元のガバナンスやサプライチェーンのリスクを自社が丸ごと引き受けることを意味します。「攻撃の大波が前例のない速度と規模で来る」というThompson氏の警告を踏まえれば、防御側のAI活用方針——どのモデルを、どの機密レベルで、審査プログラムに入って使うか——を情シス任せにせず、経営レベルで決める段階に入っています。