Olmoの生みの親Nathan LambertがAi2を退職、オープンAI研究の旗手はどこへ向かうのか
Olmoモデルの主要開発者であるNathan Lambert氏が、2023年10月から在籍したAllen Institute for AI(Ai2)を退職しました。RewardBenchやTülu 3でRLVRという概念を打ち出した同氏は、引き続きシアトルを拠点にオープンAIエコシステムでの活動を続けるとしています。
#Ai2 の記事一覧（2）
Olmo Hybridとは？Ai2が公開した7Bハイブリッドモデルが示す「Transformer後」の現実
Ai2が、Gated DeltaNet（GDN）とAttentionを3:1で混ぜた7Bオープンモデル「Olmo Hybrid」を公開し、ハイブリッド構造がTransformerを理論・実証の両面で上回ると主張する論文を同時に発表しました。事前学習段階でOlmo 3比約2倍の学習効率を達成した一方、推論ツールの未成熟により効率優位は現場では消えるという、重要な「但し書き」も明らかになっています。