何が起きたか
AIモデルの性能を横並びで比較する指標として広く参照されているArtificial Analysis Intelligence Indexが、バージョン4.2へ更新されました。きっかけは、同社のスコアがGPT-6 Astraの実際の進歩を反映できていないという批判です。OpenAI自身の評価を含む複数の先行評価がAstraを他モデルより明確に上位に置いていた一方、Artificial Analysisは前世代のSolと同程度としか評価していませんでした。
傍証もそろっていました。Epoch AIは50以上のベンチマークを横断した評価で、Astraを267モデル中1位・169ポイントと位置づけています。ARC-AGI-3でも、使用するハーネス（評価の実行環境）次第でAstraは大幅から極めて大幅なスコア上昇を示していました。更新後の指標では、AstraはSolに対して4ポイントのリードを得ています。以前は両者が同点でした。順位そのものは、Claude Fable 5.1が首位、GPT-6 Astraが2位、Metaが3位です。
指標の中身がどう変わったか
今回の更新は順位の微修正にとどまりません。新たに2つのベンチマークが加わりました。実務的なナレッジワークを測るAA-Briefcaseと、Surge AI提供のPDF文書解析タスクであるGDP.pdfです。逆に、GPQA-Diamondはモデルが解き切ってしまったとして除外されました。加えて、複数のベンチマークでスコアリングの誤りが修正され、採点方式も結果が安定するよう調整されています。
もっとも重要な変更は、非公開のテストデータが全体の重みの40%を占めるようになった点です。これは、公開ベンチマークに最適化して見かけのスコアを稼ぐ「ゲーミング」を難しくするための措置です。
点をつなぐ：ベンチマークは「遅行指標」になった
Artificial Analysisは、主要モデルの投入期にスコアを安定させるため更新を見送っていたが、リーダーボード上位の入れ替わりが速すぎたため暫定更新が必要になった、と説明しています。ここに構造的な問題が凝縮されています。評価基盤の更新速度が、モデルの進化速度に追いついていないのです。
GPQA-Diamondの除外はその象徴です。モデルが解き切った瞬間、そのベンチマークは識別力を失います。AA-BriefcaseやGDP.pdfのように「実務のナレッジワーク」「PDFの読解」へと課題が移っているのは、測るべき対象が抽象的な知識テストから業務そのものへ移動していることの表れでもあります。
スコア以外の指標にも注目すべき点があります。Artificial Analysisによれば、Astraはフロンティアモデルの中でタスクあたりの消費トークンが最も少ない。一方でコスト対性能比では、Anthropic、OpenAI、Meta、Zhipu AIが並んで首位を分け合っています。つまり「最も賢いモデル」と「最も費用対効果が高いモデル」はもはや一致しません。なお同社は8か月かけて開発してきたバージョン5を段階的に投入する予定で、指標の再定義はまだ続きます。
💼 事業会社視点：これは自社にどう効くか
「ランキング上位だから採用」は、そのまま意思決定の根拠にならない局面に入りました。 今回の一件は、外部指標が数か月単位で誤差を含み、後から4ポイント動きうることを示しています。ベンダー選定の稟議に外部スコアを添付している日本企業のIT部門・DX推進室は、根拠を一段作り直す必要があります。
実務的な打ち手は3つです。第一に、自社タスクでの評価セットを内製すること。40%が非公開データになったのは、汎用ベンチマークだけでは実力を測れないという運営側の自認です。ECなら商品説明生成と問い合わせ一次対応、SaaSならサポートログ要約、受託開発ならコード修正の受け入れ率——各社の業務ログから100〜300件の評価セットを作り、四半期ごとに回すだけで外部指標より精度の高い判断ができます。
第二に、評価軸をスコアからトークン単価×消費量に移すこと。Astraがタスクあたり消費トークン最少である一方、コスト対性能比の首位はAnthropic・OpenAI・Meta・Zhipu AIが並びます。月間数百万リクエストを回すSaaSでは、この差が損益分岐点そのものを動かします。単価表ではなく「1タスクあたり実コスト」で比較してください。
第三に、乗り換え可能な設計を維持すること。首位が短期間で入れ替わる以上、特定モデル前提のプロンプトやAPI依存は負債になります。抽象化レイヤーとリグレッション評価をセットで持つ企業だけが、ランキング変動を機会に変えられます。