OpenAIは自社のResponses APIで「Retained Reasoning」と「Compaction」の2設定を使い、GPT-5.6 SolがARC-AGI-3で38.3%を記録しClaude Opus 5の30.2%を上回ったと主張しました。同じモデルがARC Prize公式の実行環境では7.8%にとどまっており、ARC Prize共同創業者のFrançois Chollet氏は「設定とコストを明示するなら汎用APIの設定は容認する」と応じています。
AnthropicのClaude Opus 5が、未知タスクの推論を測るARC-AGI-3で30.2%を記録し、従来トップだったOpenAIのGPT-5.6 Sol(Max)の7.8%を大きく更新しました。ただし独立系ベンチマークWitnessでは伸びが小さく、ベンチマーク特化学習の可能性も指摘されています。
AnthropicのClaude Opus 5が、Artificial Analysis Intelligence Indexで61点を記録しFable 5(60)やGPT-5.6 Sol(59)を上回りながら、1タスク平均$2.03とFable 5($2.75)より安いと複数の評価機関が報告しました。ただし推論の最上位より「high」設定が実用では有利という逆転現象も明らかになっています。
Artificial Analysisの新ベンチマーク「AA-Briefcase」で、最上位のClaude Fable 5でも全基準を満たして完遂できたのは全タスクのわずか3%。SlackやメールなどバラバラのファイルからAIが多週間の業務を遂行できるかを測ると、現行モデルの限界が一気に露呈しました。
エストニア言語研究所が公開したベンチマークで、AnthropicのClaudeシリーズが偽情報への耐性で首位を獲得し、欧州の旗手Mistralの最新Medium 3.5を含むモデル群が下位3分の1に沈みました。評価対象は60モデル、3言語75問、14のプロパガンダ・ナラティブです。
AnthropicのClaude Fable 5が、最難関とされる数学ベンチマーク「FrontierMath」のティア4(v2)で88%を記録し、約75%のOpenAI GPT-5.5を13ポイント上回りました。半年前まで10%未満だった同系統モデルからの跳躍であり、AIの「研究レベルの数学推論」が実用射程に入りつつあることを示しています。
AnthropicのClaude Fable 5がArtificial Analysis Intelligence Indexで64.9点を獲得し首位に立ったが、前世代のClaude Opus 4.8と比べた性能向上は5.7%にとどまる一方、APIコストは入力・出力ともに2倍に設定されている。
研究者連合CRUXの第1弾実験で、AIエージェントが約1,000ドルのコストでiOSアプリを開発しApp Storeに公開することに成功しました。ベンチマーク飽和時代の新しい評価手法「オープンワールド評価」が示す、AIの現在地と事業リスクを整理します。