何が起きたか
GPT-6 Astraのベンチマーク結果は、一枚岩の「全面勝利」ではありません。Epoch ECIは169（Sol 162、Fable 5.1 163、Opus 5 162）とトップですが、AA Intelligence Indexは61でFable 5.1の66に届かず、Coding Agent Indexも67ポイントでFable 5.1の70に及びません。GDPval-AA v2では約80 Elo失い、銀行のサポート業務、SciCode、ロングコンテキスト推論では後退しています。一方でAA-Omniscienceのハルシネーション率は92%から51%へ改善し、ARC-AGI-2は95.0%、ARC-AGI-1は98.5%（xhigh設定。maxでは97.5%）に達しました。ARC-AGI-1はすでに飽和したとみなされています。
決定的な差が出たのがARC-AGI-3です。これはAIを「ルールも目的も説明されない未知のゲーム世界」に放り込み、試行錯誤だけで何をすべきか突き止めさせる設計のベンチマークです。Astraは62.7%を記録しました。
なぜ重要か：コストと推論努力の関係が反転した
注目すべきは点数そのものより、コスト構造の反転です。標準的なARCのスキャフォールドでは、推論なしの実行が49,791ドルかかったのに対し、最大推論では26,098ドルに下がり、スコアは35.2%から62.7%へ上がりました。深く考えさせるほど高くつく、という従来の常識が逆転しています。理由は単純で、Astraはより少ない手数でゲームを解くため、モデル呼び出しとトークンの総量が減るからです。ただし「low」設定だけは17.5%と推論なしより悪いという説明のつかない外れ値が残っています。
同じ構造は価格面にも現れます。Astraは単位あたりの処理料金がSolの2.5倍で、タスクあたりでは約75%高い。ところがコーディングではArtificial Analysisの計測でClaude Fable 5と同点ながら、タスクあたりコストは半分未満です。SolのおよそI/3、Opus 5の1/5の計算ステップで済むためです。つまり「トークン単価」で比較するとAstraは高く、「タスク完遂単価」で比較すると安い。調達判断の指標そのものが変わりつつあります。
99.9%という数字の読み方
OpenAIが公表した99.9%は、条件が違います。OpenAI独自のハーネス（モデルを動かす外側の実行環境）を使い、リクエスト間で推論チェーンを保持し、長い実行を自動要約する仕組みです。ARC Prizeの計測では、両方が解いた167のゲーム×推論ペアで比較したところ、OpenAIハーネスは約3.66倍速く、トークンを49%少なく使いました。ARC Prizeは、ベンダー間の公平な比較が可能なのは内製ハーネスによる62.7%だけだと明言しています（将来的にベンダーハーネスの数値も公開予定）。ハーネス問題はGPT-5.6 Solの時点で既に両者の係争点でした。数字を読むときは、モデルの能力とハーネスの能力を分けて見る必要があります。
「効率」で人間に並んだという事実
ARC Prizeは事前に約500人のテスターを事前選抜なしでプレイさせ、各レベルについてクリアした人の手数の中央値を記録していました。OpenAIスキャフォールドでの実行で、Astraは96%のレベルを人間の中央値より少ない手数でクリアし、平均では中央値の半分強でした。ARC Prizeは効率面では人間の優位が続くと予想していましたが、実際には「モデルが仕組みを理解した瞬間に、実行効率が人間の水準に入る」というほぼ二値的なパターンが観測されています。
その挙動を支えているのが、Astraが自分で書く「メモ」です。オブジェクト、座標、ルール、未決の計画を記録する代数のような独自記法を発明し、「extend8 to3; retract10 to2」という手順列や「Turn 5: P=(24,20), empty, facing west」という状態メモを残します。環境s5i5では、現在のレベル・ハブの向き・機構の長さを「L8: hub q2 (8↓). Lengths: 14=1…」と記録し、操作を具体的な操作系にマッピングしていました。シヨレ氏はこれを「ゲームごと・レベルごとの、高効率なオンザフライの記号的世界モデリング」と表現し、「独自の略記DSLの開発」「本質的にはゲーム固有の代数記法」と評しています。さらに重要な指摘は、「以前は高度なハーネスでしか見られなかった記号的モデリングの振る舞いをAstraは示しており、ハーネスの能力がモデル自体へ移りつつある」という点です。標準ハーネスでは、自分の可視メモに保存しなかった情報は失われるため、この記録能力が直接スコアに効きます。
第三のテスト環境PRO-LONGでは、モデルにコード実行可能なサンドボックスが与えられます。ここでAstraはゲームごとに小さなプログラム群——盤面パーサ、状態モデル、探索アルゴリズム、プランナ——を書きました。ガードのいる迷路ゲームでは、経路探索器、戦闘ルールのモジュール、巡回移動のモデル、そして自身の予測と観測を継続的に照合するスクリプトまで作っています。サンドボックスからの脱出試行は観測されていません。ただしこの結果は人間の条件（コードインタプリタもメモ帳もなし）と比較できず、測っているのは「モデル＋自作ツール」の合算性能です。
数学では別種の慎重さが要る
Epoch AIによれば、新しいFrontierMath Erdősベンチマークで、Astraは68問の未解決エルデシュ問題のうち2問をLean検証済みの証明で解いた唯一のモデルでした（1試行あたり300ドルの予算）。スコアは3%（Sol 0%、Fable 5.1 0%）。追加で3問の解答が得られていますが、これは22万ドル超の計算資源を投じた非標準の追加実行によるもので、Epochはスコアに算入していません。またEpochの個別数値では、Astraは数学・知識・パズルで先行しFable 5.1がほぼ全てのコーディングテストで首位ですが、Astraのコーディング計測は中程度の推論レベルの1回分しか記録されていません。比較は同じ土俵で行われていないということです。
AGIの証拠ではない、しかし予測は前倒しされた
ARC PrizeはARC-AGI-3の公開時から「解けてもAGIの証明ではない。ゴールラインとして意図していない」と述べており、今回の結果もAGIの根拠とは解釈していません。シヨレ氏も、不確実性下での探索、指示なしの適応、疎なデータからの因果的世界モデリングという「正しい定性的性質」を測ってはいるが、それは「小さなスケールで」に過ぎないと述べます。ゲームの時間スケールは現実のタスクより桁違いに短く、必要なデータ量・モデリングの複雑さ・その場での学習量はいずれも小さい。
それでも、約6ヶ月前の公開時にシヨレ氏が「約1年」と見積もった飽和までの時間に対し、Astraは「約2倍の速さ」で到達しました。2030年としていたAGI予測はまだ有効かと問われた同氏の答えは「もっと早い。進歩が予想より速く起きているから」でした。同氏は「進歩のペースは多くの人を驚かせるだろうし、新しいモデルの能力は、旧世代のモデルに基づいて人々が形成したAIの認識に挑戦することになる」とも述べています。ARC-AGI-4はARC-AGI-3の公開以来開発が進み、2027年第1四半期に公開予定。ARC Prizeは現行のARC-AGI-3を、決定論的な機構・閉じた目標・開かれた現実世界の非表現という点で限定的だと認めており、次世代では再帰的自己改善とオープンな革新を扱う意向です。
💼 事業会社視点：これは自社にどう効くか
「トークン単価」でのモデル選定を今すぐやめるべきです。 Astraは単価がSolの2.5倍、タスクあたり約75%高い。しかしコーディングではFable 5と同点でタスク単価は半分未満です。単価表で比較している調達部門は、最も高くつく選択を「安い」と判断します。AIコスト管理のKPIを、1Mトークンあたり単価から「タスク完遂1件あたりコスト」と「成功率」に置き換えてください。
受託開発・SIerには両刃です。 Fable 5.1がCoding Agent Index 70でAstraの67を上回る一方、Astraは計算ステップがSolの1/3。工数課金モデルは、モデルが手数を減らすほど売上が減る構造と正面衝突します。成果課金への移行を今期中に検討すべきです。
ECやSaaSのカスタマーサポートでは、乗り換え判断を分野別に。 ハルシネーション率が92%→51%へ改善した一方、銀行サポート業務やロングコンテキスト推論では後退しています。全社一括のモデル移行は危険で、業務単位のA/B評価が要ります。
そして99.9%という数字を鵜呑みにしないこと。 ベンダー独自ハーネスでの数値は、同じ167ペアの比較で3.66倍速・トークン49%減という別条件でした。ベンダー提示のベンチマークは自社の実タスクで再計測する——このルールを社内の評価基準に明文化してください。