何が公開されたか

Sebastian Raschka氏は当初DeepSeek V4の解説を予定していたが、未公開のため代わりにLLMアーキテクチャ図鑑を編纂した。執筆時点で45エントリを収録し、各モデルにビジュアルなモデルカードが付く。Redbubble経由でポスター版も入手可能で、本人はMedium(26.9×23.4インチ)を購入したという。同時に、近年のオープンウェイトLLMで採用されているアテンション機構の変遷も整理されている。

アテンション機構の3つの潮流

アテンションの基本は、Transformer以前のRNN翻訳モデルにおける「入力を限られた隠れ状態に圧縮するボトルネック」を解消するために考案された。現在の主流は以下の3系統に分かれる。

  • Multi-Head Attention(MHA): GPT-2やOLMo 2 7B、OLMo 3 7Bなど。古典的だが推論時のKVキャッシュ消費が大きい。
  • Grouped-Query Attention(GQA): 2023年のJoshua Ainsleiらの論文で提案。複数のクエリヘッドがK/V射影を共有することでKVキャッシュを削減する。Llama 3 8B、Qwen3 4B、Gemma 3 27B、Mistral Small 3.1 24B、SmolLM3 3Bなど密モデルから、Llama 4 Maverick、Qwen3 235B-A22B、Step 3.5 Flash 196BといったMoEまで広く採用されている。
  • Multi-head Latent Attention(MLA): DeepSeek-V2で導入。ヘッド数を減らすのではなく、保存する内容自体を圧縮する。同論文のアブレーションでは、同じKV効率でGQAより高い性能を示すとされる。

規模で分かれる選択

興味深いのはSarvamの事例だ。30BモデルはGQAを採用するが、105BモデルはMLAに切り替えている。GQAは実装が単純で長文ほど効果が増す一方、極端に共有を進めるとMulti-Query Attentionに近づき品質が劣化する。MLAは実装が複雑な代わりに効率と品質の両立を狙える。逆にMiniMax M2.5やNanbeige 4.1のように、複雑な仕組みを避けてGQA一本で勝負するモデルも残っている。アーキテクチャは「最新が最強」ではなく、規模と運用条件で選ぶフェーズに入った。

💼 事業会社視点：これは自社にどう効くか

自社LLM活用の意思決定者へ

SaaS事業者・自社モデル微調整を検討する事業会社にとって、この整理は調達判断の物差しになります。推論コストの大半を占めるKVキャッシュは、長文プロンプト(RAG・議事録要約・コード補完)を扱う業務SaaSほど効いてきます。Llama 3 8BやQwen3 4Bを社内基盤に据える企業が増えていますが、これらが揃ってGQAを採用している事実は、「長文ユースケースをGPUメモリ内で安定処理する」設計思想の証左です。

受託開発・SIerは、顧客提案で「DeepSeek系MLAだから高性能」と短絡せず、運用工数を含めた総コストで語る必要があります。MLAは実装が複雑で、推論サーバの最適化やfine-tuning時の挙動把握に追加工数がかかる。30B規模まではGQA、100B超でMLA検討、というSarvamの選択は実務的な目安として有効です。

EC・コンテンツ事業の役員は、自社プロダクトに組み込むAPIを選定する際、モデル名だけでなく「アテンション方式」を技術部門に確認させるべきです。同じパラメータ数でも、長文入力時の応答速度・コストは設計で大きく変わるからです。

関連リンク