#Transformer の記事一覧(3)

AI
2026-06-18 ・ The Decoder

Noam ShazeerがGoogleからOpenAIへ移籍、Gemini共同責任者の離脱が示すAI人材戦争の新局面

Geminiの共同責任者でTransformer論文「Attention Is All You Need」の共著者であるNoam Shazeerが、GoogleからOpenAIへ移籍します。2024年に27億ドル規模の取引でCharacter.AIから呼び戻されたばかりの人物で、推論モデル強化の中心人物の離脱は、AI業界の勢力図に直接影響します。

AI
2024-03-28 ・ The Gradient

Mambaとは?Transformerを超える状態空間モデルが100万トークン処理と5倍速を実現する仕組み

State Space Model(SSM)の系譜に連なる「Mamba」が、Transformerと同等の性能を保ちながら推論を最大5倍高速化し、100万トークン級の長文処理を現実的な計算量で可能にしました。GuとDaoによる本アーキテクチャは、3Bパラメータで同サイズのTransformerを上回り、2倍規模のモデルに匹敵する評価を示しています。

← タグ一覧へ