何が起きているか
現在主流のLLMは、依然として2017年の「Attention Is All You Need」を起点とする自己回帰型デコーダ・トランスフォーマです。DeepSeek V3/R1、Llama 4、Qwen3、Kimi K2、gpt-oss、GLM-4.6、商用ではGPT-5やGemini 2.5などが代表例で、Grouped-Query AttentionやMulti-Head Latent Attentionといった効率化が進められてきました。
しかし2025年に入り、根本的に異なるアプローチが実装段階に入りました。6月にMiniMax-M1(456Bパラメータ・46Bアクティブのmixture-of-experts)がLightning Attentionで登場。8月にQwen3-Next、9月にDeepSeek V3.2(サブ二次のスパースアテンション)、10月にKimi Linearが続きました。
なぜ重要か
通常のスケールドドット積アテンションは系列長に対し計算量がO(n²)で増えます。これが長文・長文脈処理のコスト障壁です。2020年の論文『Transformers are RNNs』はカーネル特徴関数ϕ(x)=elu(x)+1で線形近似する手法を示しましたが、精度が落ちるため最先端のオープンウェイトLLMでは採用されてきませんでした。
ここに転機をもたらしたのがGated DeltaNetです。Mamba2のゲート付き減衰機構とデルタ則(新しい値と予測値の差で隠れ状態を更新)を組み合わせ、SiLU活性化で勾配の流れを安定化しています。Qwen3-NextとKimi Linearはともにこれを採用しました。
ハイブリッドという現実解
Qwen3-Nextは48層のうちGated DeltaNetブロックとGated Attentionブロックを3:1で混ぜるハイブリッド構造を取り、262kトークンのネイティブ文脈長を達成。従来のQwen3 235B-A22B(32kネイティブ・YaRN拡張で131k)から大幅に伸びました。Gated Attentionは通常のフルアテンションにシグモイドゲートを加えたもので、開発元は「Attention SinkやMassive Activationといった問題を解消し、数値的安定性を確保する」と説明しています。
ただし純粋な線形化には限界も見えています。MiniMaxは後発の230BパラメータM2モデルで通常のアテンションに戻し、その理由として推論・マルチターンタスクでの精度低下を挙げました。IBM Granite 4.0やNVIDIA Nemotron Nano 2のようなトランスフォーマ・SSMハイブリッドも含め、当面は「混ぜる」設計が現実解になりそうです。
💼 事業会社視点：これは自社にどう効くか
役員が今押さえるべき含意
SaaS・受託開発・社内AI基盤を持つ事業会社にとって、これは「長文脈の単価が下がる」という供給側の構造変化です。契約書レビュー、コールセンター全履歴解析、ソースコード一括理解といった、これまで分割処理や要約前処理で凌いでいたユースケースが、262kトークン級のネイティブ文脈で素直に解けるようになります。
短期(〜6ヶ月)では、Qwen3-NextやKimi Linearをセルフホストしている海外競合がコスト優位を取り始めるリスクがあります。国内SaaS各社はベンダーロックインを避け、推論基盤のモデル差し替えコストを今のうちに下げておくべきです。プロンプト・評価セット・RAGパイプラインをモデル非依存に保つ設計投資が効きます。
中期では「線形化したら精度が落ちた」というMiniMax M2の事例が示すとおり、用途で最適アーキテクチャが分かれる段階に入ります。推論重視ならフルアテンション系、長文要約・検索なら線形ハイブリッド系といった社内モデル選定基準の二軸化を、CTO・データ責任者は今期中に整備する価値があります。「最新で最大のモデル一本」では最適化されません。