何が発表されたか
iLLaDAは、ByteDanceと中国・人民大学の研究者が公開した8Bパラメータの拡散型言語モデルです。GPTやClaude、Qwenのように単語を左から右へ逐次生成する自己回帰モデルとは異なり、拡散型はマスクされたトークン(プレースホルダ)から出発し、複数回のパスで双方向・並列に文章を精緻化していきます。前モデルLLaDAの12T(従来は2.3T)トークンで事前学習し、12エポックでファインチューニングしたデンスモデルです。
ベースモデルではQwen2.5を超えたが
iLLaDA-Baseは平均63.9点で、Qwen2.5 7B(63.3点)、競合の拡散型Dream 7B(61.4点)を上回りました。前モデルLLaDA(51.1点)からの伸びは大きく、特にBBHでは21.6点上昇しています。MMLUは74.8点、GSM8Kは81.9点と、推論・数学系で改善が目立ちます。
Instruct版で生じた約10点の差
しかし、Instruct版になるとiLLaDAは67.1点、Qwen2.5 7B Instructは77.1点と差が開きます。著者らは、Qwen2.5に投入されている強化学習によるアラインメントがiLLaDAには欠けていることを差の主因として挙げています。論文の付録では、難しいタスクで推論ループに陥る挙動も指摘されています。
DiffusionGemmaとの位置づけ
Google DeepMindが2026年6月に出したDiffusionGemmaは、Gemma 4(25Bのmixture-of-experts)を母体とし、約4倍の高速生成と引き換えにMMLUやコーディングで自己回帰版に劣る設計です。iLLaDAとは重量級・ベンチマークの設計が異なるため直接比較は困難ですが、両者は「拡散型は速さで勝ち、品質では追いつき切れていない」という現在地を共通して示しています。
💼 事業会社視点：これは自社にどう効くか
経営者・事業責任者への示唆
iLLaDAの結果は、日本企業のLLM導入判断において「ベース性能の数値だけを見て採否を決めるな」という警告です。ベンチマーク平均ではQwen2.5を超えても、実利用に近いInstruct段階で約10点劣後する事実は、自社チャットボット・カスタマーサポート・社内ナレッジ検索を実装するSaaSや受託開発にとって決定的な意味を持ちます。
ECや業務SaaSの事業責任者は、拡散型を「速度が活きるユースケース」に限定すべきです。例えば、入力候補補完、商品説明の一括生成、ログ要約のようにレイテンシが体験を左右する処理は拡散型の出番ですが、契約書ドラフトや顧客対応の最終文面など品質クリティカルな工程では自己回帰モデル+RLHFが依然優位です。
受託開発・SIerは「中国系オープンソースモデルの台頭」を価格交渉材料に活用できます。OpenAIやAnthropicのAPI一択提案ではなく、ByteDanceや人民大学のような研究投資が進むモデル群をベンチマークに含め、用途別に最適なモデルを束ねる「モデルポートフォリオ提案」が差別化になります。一方、社内のRLHFパイプラインを持たない企業は、ベース性能だけ高いモデルを採用しても本番品質に届かないことを今回の結果は実証しており、運用人材への投資判断とセットで考える必要があります。
