何が起きたか
OpenAIは、ARC-AGI-3という論理推論ベンチマークでGPT-5.6 Solが38.3%を記録し、Anthropicのクロード Opus 5の30.2%を上回ったと発表しました。Opus 5は直前にこのベンチマークの記録を4倍に更新したモデルです。
ただし、この38.3%は公式のテスト環境で出た数字ではありません。OpenAIは自社のResponses API上でモデルを走らせ、2つの設定を有効にしています。ひとつはステップ間でモデルの思考過程を保持する「Retained Reasoning」、もうひとつは古い文脈を切り捨てるのではなく要約して圧縮する「Compaction」です。
一方、ARC Prize公式のハーネス（実行環境）で測ったGPT-5.6 Solのスコアは7.8%でした。公式環境ではアクションごとにモデルの推論が破棄されるためです。同じモデルで、周辺の実行環境が違うだけで5倍近い差が出たことになります。
なぜ重要か
争点は「ベンチマークは何を測っているのか」です。ARC-AGI-3はモデル単体の純粋な性能を測る設計で、ARC Prizeは公平な比較のためにプロバイダ固有の設定を使わない標準化された手法を用いていると説明しています。対してOpenAIは、ベンチマークが測っているのはモデルだけでなくその周囲の技術的セットアップも含む、と主張します。
さらに論点になっているのが、ARC Prizeが使ったのは旧来の「OpenAIスタイルのcompletions API」で、Claude APIがすでに備えていた機能を欠いていたのではないか、という点です。もしそうなら、比較はOpenAIに不利だったことになります。
Chollet氏の線引き
Chollet氏はアップデートで境界線を示しました。「ベンチマークを解くために作られた、あるいはベンチマークの形式に関する知識を含む」ハーネスは対象外（off limits）。一方で「ARC-AGI-3のために開発されたものではなく、すべてのAPI利用者が使える」汎用的なAPI設定はフェアゲームだ、という区分です。
これは実質的に、ARC Prize側が出したGPT-5.6 Solのスコアが同社に不利だったことを認める内容でもあります。同氏は、特にcompactionをめぐってOpenAIと「モデルをどうテストするのが最善かについて多くのやりとりがあった」と述べ、OpenAIが「答えを見つけ始めている」ことを歓迎しました。プロバイダごとに異なる設定を使うことは「潜在的な同一条件（parity）の問題」を生むとしつつ、「設定とコストが明確に報告される限り」許容できる、というのが同氏の立場です。
点をつなぐと見えるもの
この一件が示しているのは、モデルの序列よりも「文脈をどう扱うか」の設計が結果を支配し始めた、ということです。Retained Reasoningは思考の連続性を保ち、Compactionは長い作業の途中で情報を捨てない。どちらも複数ステップにわたるタスクで効く仕組みであり、7.8%と38.3%の差はそのまま、推論を捨てる実装と保つ実装の差です。
そしてChollet氏が「コストも報告すべき」と付け加えた点は見逃せません。推論を保持し文脈を要約し続ければトークン消費は増えます。スコアは単独では意味をなさず、いくらかけて出した数字なのかとセットで初めて比較可能になる、という認識が示されたことになります。
💼 事業会社視点：これは自社にどう効くか
役員が持ち帰るべき論点は「モデル選定の会議で見ているスコアは、どのセットアップで出た数字か」です。同一モデルが7.8%と38.3%に分かれた事実は、ベンダー提示のベンチマークがモデル比較ではなく実装比較になり得ることを示しています。RFPやPoC評価票には、モデル名だけでなく「推論保持の有無」「長文脈の圧縮方式」「1タスクあたりのトークンコスト」を記入必須項目として加えるべきです。
受託開発・SIerにとっては受注根拠が変わります。「どのモデルを使うか」ではなく「文脈をどう保持・圧縮するか」が成果物の性能差を生む以上、ハーネス設計そのものが提供価値になります。逆に、モデル名だけを提案書に書く見積もりは、実質的に性能を約束していないと見なされます。
SaaS事業者は、自社の複数ステップ処理（問い合わせ対応、審査、コード生成）でRetained Reasoning相当の設定を有効にしているか、実装を今週中に棚卸しする価値があります。設定ひとつで精度が跳ねる領域なら、モデル乗り換えより先に手を入れるべきはそこです。ただしトークン消費は増えるため、精度向上分とコスト増を単価に織り込めるかを同時に検証してください。ECのように1件あたりの利益が薄い領域では、精度とコストの損益分岐を先に引くのが順序です。