Olmo Hybridとは？Ai2が公開した7Bハイブリッドモデルが示す「Transformer後」の現実
Ai2が、Gated DeltaNet（GDN）とAttentionを3:1で混ぜた7Bオープンモデル「Olmo Hybrid」を公開し、ハイブリッド構造がTransformerを理論・実証の両面で上回ると主張する論文を同時に発表しました。事前学習段階でOlmo 3比約2倍の学習効率を達成した一方、推論ツールの未成熟により効率優位は現場では消えるという、重要な「但し書き」も明らかになっています。