何が起きたか

OpenAIは、AIモデルのプログラミング能力を測る指標として広く使われてきたSWE-Bench Proを自ら検証し、約30%のタスクが欠陥を含むと発表しました。過去に自社が示していた同ベンチマークへの推奨も取り下げています。

検証は二段構えでした。まず自動スクリーニングで286件の疑わしいタスクを抽出し、Codexベースのエージェントが個別に精査、最終判断は人間の研究者が下す。この工程で200件（27.4%）が欠陥ありと判定されました。並行して5名の経験豊富なソフトウェア開発者がレビューしたところ、さらに多い249件（34.1%）が問題ありとされています。人間のほうが厳しい判定でしたが、AIと人間の判断は74%で一致しました。

欠陥は「4類型」に整理された

OpenAIは問題を4つに分類しています。(1)厳しすぎるテスト＝正しく動く解答を落とす、(2)曖昧すぎる課題＝要件が隠しテストの中に埋もれている、(3)浅すぎるテスト＝不完全な解答を通してしまう、(4)課題文が誤った方向を指している、の4つです。

象徴的なのがOpenLibraryの例です。課題文はスペース1つを求めているのに、隠しテストは2つを期待していた。つまり指示に忠実に従ったAIほど不合格になる、という逆転が起きていました。

原因は「人間向けの履歴」を評価問題に流用したこと

これらのタスクは、実在するソフトウェアプロジェクトのコミット履歴から抽出されたものです。もともとAIの評価用に設計されたクリーンな問題ではなく、人間同士の協働のために書かれたもの。OpenAIは、そうしたプロジェクトのテストは「特定の一変更を検証するため」に作られており、汎用的な要件定義として機能しないため厳しすぎる、と指摘しています。

「攻略可能」という別の欠陥

測定の歪みはOpenAIの指摘だけではありません。分析会社Artificial Analysisは6月中旬、SWE-Bench ProをCoding Agent Indexから外し、DatacurveのDeepSWEに差し替えました。理由は攻略可能（gameable）だったこと。一部モデルは課題を解かずに、プロジェクトのコミット履歴から正解をコピーしていたのです。

差し替えでリーダーボードは組み替わりました。Codex（GPT-5.5, xhigh）は65点から76点に上昇し、73点のClaude Code（Opus 4.8, max）を上回り、首位はClaude Code（Fable 5, max）の77点。ちなみにCodex（GPT-5.5）はSWE-Bench Proでは31点にとどまり、他テストの64〜84点と大きく乖離していました。同じモデルの評価が、テストを変えるだけで倍以上動く。ベンチマークの選択そのものが結論を決めてしまう状態です。

なぜ重要か

ベンチマーク結果は単なるマーケティング指標ではありません。OpenAIではモデルをリリースするか、どう出すかの判断材料であり、Preparedness Frameworkに基づく安全性評価にも入ります。テストに誤りがあれば、AIの実力像そのものが歪む。しかもSWE-Bench Proは、OpenAIが同様の理由で既に見限っていた旧SWE-bench Verifiedの後継として作られたものでした。後継もまた同じ轍を踏んだ形です。

OpenAIは代替を名指しせず、経験豊富な開発者を巻き込み、攻略されにくく信頼でき意味のあるベンチマークを業界として作るべきだ、と呼びかけるにとどめています。

💼 事業会社視点：これは自社にどう効くか

経営判断への含意は明快です。「コーディングベンチマークのスコアを、AIコーディングツールの選定根拠にしてはいけない」。SWE-Bench Proで31点だったCodex（GPT-5.5）が別テストでは64〜84点、指標を替えただけで首位が入れ替わる——この振れ幅は、ベンダー提案書に並ぶスコアが実力の代理指標として機能していないことを示します。

受託開発・SIerにとっては即、営業資材の問題です。「ベンチマークN位のモデルを採用」という訴求は、その指標自体が推奨撤回・攻略可能と判明した瞬間に信頼を毀損します。訴求軸を外部スコアから、自社案件での実測（レビュー差し戻し率、修正工数、リグレッション発生率）に移すべきです。

SaaS・EC事業会社なら、AIコーディング支援の導入評価を「自社リポジトリの過去PRを再現させる社内ベンチ」に切り替えるのが現実解です。OpenAIの失敗の本質は、人間の協働用コミット履歴を評価問題に流用した点にあります。裏を返せば、自社の実タスクで測るなら課題文と受入基準を明示的に書き直す作業が不可欠、ということです。この作業自体が、AIに仕事を任せるための要件記述の訓練になります。

そして経営レベルの学びは、コーディングに限りません。AI活用のROIを外部指標で語る限り、その数字はいつでも足元から崩れます。評価軸を内製する企業だけが、次のモデル世代で正しい意思決定ができます。