何が分かったか
OpenAIのシステムカードによれば、GPT-6 Astraは前世代のGPT-5.6 Solより事実誤認が大幅に少なくなりました。検証には、ChatGPT利用者が「回答が間違っている」と報告した会話が使われています。もともと誤りが出やすいケースを集めたものなので、ここでの失敗率を日常利用の水準と読み替えるべきではありませんが、Astraは同じ誤りの再現をかなり減らし、特に低レイテンシ設定・低い推論レベルでの改善が大きかったとされています。
セキュリティ面では、ユーザー自身のプロンプトで挙動を捻じ曲げる「直接プロンプトインジェクション」に対し、99.99%という事実上ほぼ完全な防御率を記録しました。OpenAIはこの成果を、自動攻撃エージェントで学習中のモデルを叩き続ける「GPT-Red」手法の効果だと説明しています。
数字が崩れるのは「粘られたとき」と「文書経由」
一方で、数字は攻撃の形が変わると急落します。生物・暴力・サイバーセキュリティに関する既知のジェイルブレイク集(固定データセット)に対しては91.5〜98.3%を拒否できるのに、攻撃者が会話を重ねながら戦略を修正してくる「多段適応攻撃」では防御率が約67%まで落ちます。つまり、しつこい相手なら3回に1回は問題のある応答を引き出せる計算です。前世代モデルが50%弱だったことを踏まえれば改善ではありますが、「粘られると崩れる」という性質そのものは残っています。なお、この試験は分類器などの製品側の安全レイヤーを外した素のモデルで行われたものだと、OpenAIは注記しています。
より実務に近い懸念は、外部評価の方です。セキュリティ企業Gray Swanは、AIが読み込む文書の中に攻撃命令を埋め込む「間接プロンプトインジェクション」を、IPI Arenaから厳選した1,810件の攻撃で検証しました。1シナリオあたり15回試行した結果、Astraが少なくとも一度は破られたのは8.5%。GPT-5.6 Solの27%からは大きく前進した反面、Claude Opus 5の4.8%には及びません。約12シナリオに1回破られるAstraに対し、Opus 5は約21回に1回という差です。
ベンチマークの数字はそのまま比較できない
注意すべきは、この種の数字が試験条件で動くことです。Gray SwanのQ1・Q2統合テストでは、以前の結果より数値が悪化しています。Anthropicは以前、より易しいQ1単独のテストに基づき攻撃成功率2%(同条件でGPT-5.6 Solは20%)と報告していましたが、Anthropicは全モデルで拡張推論を有効にして実行しており、試験範囲の広さと合わせてこの差の説明になり得ます。ベンダー発表の「安全率」を横並びで比べる読み方は、そもそも成立しないということです。
そして攻撃対象は今、机上の想定ではありません。AIエージェントは自らコードを書き、ツールを操作し、コンピュータを制御し始めています。これはGray Swanが試験したシナリオそのものであり、しかもエージェントは24時間・大規模に動き、文書の読み込みと処理を主業務として設計されています。攻撃が厳選されたものだという留保はつくものの、この成功率はどの企業のセキュリティ部門にとっても看過できない水準です。
💼 事業会社視点：これは自社にどう効くか
実務上の結論はひとつです。**「直接入力は守れるが、AIに読ませる文書は守れない」**という前提で設計を組み直すべき段階に来ました。
影響が大きいのは、外部由来のテキストをAIに読ませる業務です。ECなら商品レビューや出品者提出資料、SaaSならユーザーがアップロードするPDFやWebhook経由の外部データ、受託開発なら顧客から預かる仕様書やコードリポジトリ。ここに一行仕込まれるだけで、約12回に1回はエージェントが攻撃者の指示に従い得ます。24時間稼働のエージェントに一日数千件を処理させるなら、8.5%は「稀な事故」ではなく日次で発生する事象です。
経営判断としては三点。第一に、モデル選定をベンチマーク数値の横並びで決めないこと。Gray SwanとAnthropicの数字が食い違ったように、条件が違えば桁が変わります。自社の実データで試すしかありません。第二に、AstraをGPT-5.6 Solから置き換えるだけの改善(27%→8.5%)を「対策完了」と社内報告させないこと。ゼロには程遠い水準です。第三に、権限設計。エージェントに与えるツール権限・API権限・決済権限を、「攻撃命令が通った前提」で棚卸しし、破壊的操作には人間の承認を挟む。防御率を上げる努力より、破られたときの被害上限を切る設計の方が、今は投資対効果が高いはずです。