何が起きたか

OpenAIは、自社のGPTモデルに潜むセキュリティ上の弱点を自動で見つけ出す社内AI「GPT-Red」を訓練したと明らかにしました。GPT-Redは、メールやWebサイト、ファイルの中に悪意ある指示を紛れ込ませる「プロンプトインジェクション」などの攻撃を模擬し、対象モデルを揺さぶります。

特徴は訓練の仕組みです。攻撃役のGPT-Redと防御役のモデルを戦わせる「自己対戦（セルフプレイ）」型の強化学習を採用し、攻撃側が突破口を探す一方で防御側がそれを塞ぎ、双方が同時に強くなっていきます。実際にOpenAIオフィスのAI搭載自販機を操作対象にしたテストでは、GPT-Redが価格を書き換え、他の顧客の注文をキャンセルさせることに成功したといいます。

なぜ重要か

数字が示すのは、攻撃発見の「量産化」です。人間のレッドチームが攻撃を成功させたのはテストシナリオの13%。対してGPT-Redは84%で成功しました。人手では気づけない、あるいは時間が足りずに試せない攻撃経路を、AIが桁違いのスピードで洗い出せることを意味します。

そして重要なのは、この結果が防御側の訓練に直結している点です。GPT-Redが見つけた穴はそのまま学習データとなり、モデルが更新されるたびに塞がれていきます。OpenAIによれば、最新のGPT-5.6 Solは直接的なプロンプトインジェクションでの失敗が4か月前の最良モデルと比べて6分の1に減り、しかも一般的な性能を落とさずに達成したとしています。

残る論点

ただし攻撃はゼロにはなっていません。より強力なプロンプトインジェクションでは、依然として約3.8%が成功します。1回あたりの成功率は低くても、数百〜数千回の試行に拡大すればまとまった数が突破する計算で、この水準はClaude Opus 4.5と同程度だとされています。GPT-5.3からGPT-5.6 Solへと成功率は着実に下がってきましたが、防御は「限りなく減らす」段階であって「防ぎきる」段階には至っていません。GPT-Red自体は社内利用にとどめられ、詳細は今後の論文で公開される予定です。

💼 事業会社視点：これは自社にどう効くか

AIエージェントを業務に組み込む日本企業にとって、これは「導入の可否」ではなく「残存3.8%をどう運用で吸収するか」の問題です。とりわけ、外部のメール・Webページ・顧客アップロードファイルをAIに読ませて自動処理させるSaaSやEC事業では、GPT-Redの自販機実験（価格改ざん・他人の注文取消）がそのまま自社の受注・決済・在庫の事故シナリオになり得ます。役員が今動くべきは3点。第一に、AIエージェントに与える権限を「決済確定・価格変更・データ削除」など不可逆な操作から切り離し、人間承認を挟む設計にすること。第二に、単発では低い成功率も大量試行で突破される前提で、レート制限と異常検知を攻撃対策として位置づけること。第三に、受託開発企業は「プロンプトインジェクション耐性」を納品要件・SLAに明記し、モデル更新のたびに再検証する運用を契約に組み込むことです。モデル側の防御は向上し続けますが、業務設計で不可逆操作を守るのは自社の責任だと割り切るべきです。