何が起きたか
Ai2は、RNN系のGated DeltaNet層と従来のAttention層を3:1の比率で組み合わせた7Bベースモデル「Olmo Hybrid」と、3つの実験的なポストトレーニング済みチェックポイント（Instruct版、近日中にreasoning版）を公開しました。アーキテクチャ以外はOlmo 3 7Bとほぼ同一で、ハイブリッド構造そのものの効果を切り分けて検証できる設計です。
併せて、Will Merrill氏らによる論文では「ハイブリッド型はTransformerもGDN単体も解けないコード評価関連の形式的問題を表現・学習できる」ことが示され、スケーリング実験ではハイブリッドGDN > 純GDN > 標準Transformer > ハイブリッドMamba2 > 純Mamba2という性能順位が、パラメータと計算量を増やしても維持されました。
なぜ重要か
2023年12月のMambaとStriped Hyena以降、「Attentionは本当に全層必要か」という問いは長く宙に浮いていましたが、Qwen3-Next、Kimi Linear、Nvidia Nemotron 3 Nano、IBM Granite 4と、主要なオープンウェイトモデルが相次いでハイブリッドを採用し、流れが決定的になりつつあります。Attentionの計算量が二次関数的に膨らみKVキャッシュも肥大する問題に対し、RNN層は隠れ状態に情報を圧縮してこれを回避します。長文コンテキストや推論コストが事業の損益に直結するLLM活用において、無視できない構造変化です。
「事前学習で2倍」が現場で消える理由
ただし注目すべきは、Ai2が率直に開示した運用上の落とし穴です。VLLMでOlmo Hybridを安定動作させるには、--disable-cascade-attn（カスケードAttention無効化）、--enforce-eager（CUDAグラフ無効化）、--mamba_ssm_cache_dtypeをFP32に設定、という3つのフラグが必須で、これらを付けないと評価スコアが急落します。一方で、これらを付けると推論スループットが下がり、せっかくの計算効率上の優位が打ち消されます。さらに7BハイブリッドモデルはGQA非搭載のため、RL学習時の計算コストがdense版より高いという逆転現象も発生しています。
ポストトレーニングの結果も「知識タスクでは勝ち、長い推論タスクでは負け」と分かれており、Ai2自身が「最良のモデル＝最良のteacherとは限らず、別アーキの生徒には別のteacherが必要かもしれない」と仮説を立てている段階です。GDN系ハイブリッド向けのツーリング成熟には、なお3〜6か月を要すると見込まれています。
💼 事業会社視点：これは自社にどう効くか
経営層が今読み取るべきこと
LLM内製・受託開発を行う日本のAIスタートアップやSIerにとって、Olmo Hybrid公開は「Transformerが標準である時代」の終わりを示すサインです。Qwen、Kimi、Nemotron、Granteと主要オープンモデルが揃ってハイブリッドに移行している以上、来期以降の自社モデル選定・継続事前学習（CPT）方針は、Attention前提のスタックを見直さざるを得ません。
ただし即時の本番投入は推奨しません。Ai2自身がVLLMの未成熟さと、効率優位がフラグ設定で相殺される現状を開示しており、推論コスト最適化を売りに顧客提案しているAI受託やインフラSaaS事業者は、3〜6か月のツーリング成熟期間を見て、SLAやコスト試算の前提を保守的に置くべきです。
一方、長文ドキュメントを扱う法務・金融・ヘルスケア領域のSaaSにとっては、KVキャッシュ膨張からの解放は中長期で大きな武器になります。役員は今期、PoC枠でハイブリッドモデルの長文性能を計測する社内ベンチマークを準備し、来期のロードマップに「アーキ切替の判断ゲート」を組み込むのが現実的な打ち手です。「Olmo 3とほぼ同一構成」という比較容易性は、検証コストを大幅に下げる希少な機会です。