何が起きたか
Alibabaの新モデルQwen3.8 Maxが、Artificial Analysis Intelligence Indexで56点を獲得しました。前世代のQwen3.7 Maxは46点だったので、10点の上積みです。この56点はClaude Opus 4.8と同水準、GLM-5.2の51点を上回りますが、Kimi K3の57点には届きません。しかもKimi K3は25%安く動きます。
仕事に近いタスクを測るGDPval-AAでは、Qwen3.8 MaxはElo換算で468ポイント跳ね上がって1,739に到達し、Kimi K3（1,685）を抜きました。ここで上にいるのはClaude Opus 5（1,852）だけです。
スコアの裏にある「手数」
重要なのは、この伸びが何によって作られたかです。Qwen3.8 Maxは1タスクあたり14ステップだった処理を64ステップに増やしています。テストは各ステップで会話履歴を丸ごとモデルに送り直すため、入力トークンは15倍に膨らみました。つまり「賢くなった」というより「粘り強くなった」に近い。丁寧に考える代わりに、遅く、そして高くなっています。
Alibabaは単価を下げました。入力は100万トークンあたり2.50ドルから2.00ドル、出力は7.50ドルから6.00ドル、キャッシュヒットは0.50ドルから0.25ドルです。それでもIntelligence Indexの1タスクあたりコストは1.14ドルで、Qwen3.7 Maxの0.53ドルの2倍以上。1点上のKimi K3が0.86ドル、GLM-5.2が0.57ドルであることを考えると、値下げが消費量の増加に飲み込まれた形です。
見落としてはいけない後退
全項目が伸びたわけではありません。非常に長い文書から情報を正しく統合できるかを見るAA-LCRは2点下がりました。より深刻なのはAA-Omniscienceの10点低下です。この指標は、知識問題に正しく答えられるか、あるいは「わからない」と正直に言えるかを測ります。正答率は31%前後で横ばいのまま、ハルシネーション率は23%から40%へ跳ね上がりました。答えられないときに黙る代わりに、推測で埋めるようになったということです。
点をつなぐと何が見えるか
「たくさん試行して正解に近づく」設計は、採点可能なベンチマークでは効きます。一方、答えの正誤がその場で判定できない知識質問では、同じ性格が「とりあえず答えてしまう」方向に働く。スコア表の上位争いと、業務で使ったときの信頼性が、必ずしも同じ方向を向いていないことがこの1本の数字の並びから読み取れます。
そしてモデル選定の軸も変わりつつあります。トークン単価の比較表はもはや意思決定の材料として不十分で、「1タスクいくらか」を見ないと実際の請求額は予測できません。Qwen3.8 Maxはその落差が最も分かりやすく出た事例です。
💼 事業会社視点：これは自社にどう効くか
日本企業のAI導入で最初に効くのは、社内の稟議書やベンダー比較表の「作り方」の見直しです。多くの企業が100万トークンあたりの単価でモデルを比較していますが、Qwen3.8 Maxは単価を2.50→2.00ドルに下げながら1タスクのコストが0.53→1.14ドルに倍増しました。ステップ数が14→64に増えれば単価の値下げは簡単に吹き飛びます。CTO・情報システム部門は、自社の代表タスク10本程度でエンドツーエンドの実測単価を出し、それを調達基準に据えるべきです。
受託開発・SIerにとっては契約形態の問題になります。固定価格でAI機能を請け負い、モデルのバージョンアップで自動的にステップ数が増えれば、粗利が静かに削られます。API利用料を実費精算にするか、上限ステップ数・上限トークン数を仕様に書き込む交渉が現実的な防御策です。
SaaSやECでカスタマーサポート・商品説明生成に使う事業責任者は、ハルシネーション率23%→40%という数字を重く見てください。正答率31%が変わらないまま「わからない」と言わなくなったモデルは、顧客対応や在庫・価格の回答で最も危険な壊れ方をします。バックオフィスの下書き生成には向いても、顧客接点にそのまま出す判断は保留し、根拠提示なしの回答を弾く仕組みをアプリ側に持つのが先です。