何が起きたか
ARC-AGIベンチマークを運営するARC Prizeによると、Claude Opus 5がARC-AGI-3で30.2%を記録し、新たな首位に立ちました。従来記録はOpenAIのGPT-5.6 Sol(Max)による7.8%で、4倍近い差をつけたことになります。Anthropic自身の’Fable-class’モデル(約20%)も上回りました。
ARC-AGI-3は、学習時に見ていない新しいタスクをどれだけ解けるかを測るテストで、ゲームのようにルールを推測し、行動を計画し、段階的に実行することを求めます。Opus 5は未解決だった5つの環境を攻略し、うち4つは人間と同等以上のスコアでした。25の公開デモ環境のうち解かれたのは合計6つになりました。
なぜ重要か
ARC Prizeは、この差を「より強い論理的推論による、未知環境での自律的な探索・計画・実行」だと説明しています。実際、テスト中にOpus 5はタスクを代数記法に翻訳し、反射の方程式を自ら組み立てる場面が初めて見られたといいます。単なる暗記ではなく、ルールを抽象化して扱う挙動が観測された点が注目されました。
なお公式スコアは外部ハーネスを使わないモデル単体の性能で、ARC Prizeは「将来のAGIは外部の助けを必要とすべきでない」と主張します。裏を返せば、Claude Code内で使えばさらに高いスコアも見込めるとしています。ARC-AGI-2では90.4%、ARC-AGI-1では97.5%と、いずれも過去最高水準に並びました(コストはやや上昇)。
独立検証が示す慎重論
一方で、伸びの「幅」には疑問も残ります。Guanghan Ning氏の非公開ベンチマークWitnessでは、Opus 5は43.4点でKimi K3やFable 5と統計的に横並びで、Opus 4.8からの改善はARC-AGI-3ほど大きくありませんでした。よくある仕組みのパズルでは初手前に隠れたルールを言い当てた一方、ルールが馴染みのない形で組み合わさるとOpus 4.8を下回りました。
Ning氏はこのパターンを「ジャンル特化データでの学習」に合致すると指摘しつつ、Witnessではどのデータが使われたかは特定できないとしています。Opus 5はARC-AGI-3の形式が公開された後に開発されており、Anthropicが該当スキルやパズル形式を狙って強化した可能性はあります(ただし正確なタスクで学習した証拠ではありません)。ARC PrizeもゲインについてAnthropicは説明していないものの、的を絞ったデータラベリングと強化学習が要因として挙げられるとしています。
もっとも、ARC PrizeのGreg Kamradt氏は「広範な推論の向上を否定するものではない」とし、総合では劣るOpus 4.8が一部のARC-AGI-3ゲームでOpus 5を上回った点も指摘しました。Ning氏も後に、Witnessでも幅広い改善は見られた(ARC-AGI-3より小さいが)と補足し、HumanEvalから今日のコーディングエージェントへ至るコーディングベンチの進化になぞらえています。
💼 事業会社視点：これは自社にどう効くか
経営層が読むべきは「30.2%という数字」ではなく「ベンチマーク特化学習の疑い」の方です。ARC-AGI-3のように公開された評価軸ほど、モデルはその形式に最適化されやすく、自社の実タスクでの性能とは乖離しうる——これはSaaS・受託開発でAIを組み込む際の判断に直結します。ベンダー選定を公表ベンチのスコアだけで決めるのは危険で、Witnessが示したように「馴染みのない組み合わせ」で崩れるモデルは、実運用の非定型業務で足をすくわれます。実務上の打ち手は明確です。第一に、自社の代表的タスクで作った非公開の評価セットを社内に持ち、モデル更新のたびに回すこと。第二に、Opus 5がClaude Code内でさらに伸びるという指摘の通り、単体スコアより「ツール・ハーネスと組み合わせた実装込み」で評価すること。ECの需要予測、SaaSの自律エージェント、受託の設計支援など、未知環境での自律実行を狙う領域ほど、この抽象化能力の向上は効いてきます。