#長文コンテキスト の記事一覧（1）

Mambaとは？Transformerを超える状態空間モデルが100万トークン処理と5倍速を実現する仕組み

State Space Model（SSM）の系譜に連なる「Mamba」が、Transformerと同等の性能を保ちながら推論を最大5倍高速化し、100万トークン級の長文処理を現実的な計算量で可能にしました。GuとDaoによる本アーキテクチャは、3Bパラメータで同サイズのTransformerを上回り、2倍規模のモデルに匹敵する評価を示しています。