GPT-2から7年、変わったのは「細部」
Ahead of AIによる2025年フラッグシップオープンLLMの比較分析は、2019年のGPT-2から2024〜2025年のDeepSeek V3、Llama 4まで、基本構造が想像以上に維持されてきたことを示しています。変わったのは骨格ではなく、注意機構・活性化関数・正規化の置き方といった「細部」です。
具体的には、位置エンコーディングは絶対位置から回転位置埋め込み(RoPE)へ、Multi-Head Attention(MHA)はGrouped-Query Attention(GQA)へ、活性化関数はGELUからSwiGLUへと置き換わりました。GQAは複数のヘッドでキー・バリュー射影を共有することでメモリ使用量を削減します。
DeepSeek V3が持ち込んだ2つの工夫
2024年12月に登場し、2025年1月の推論モデルDeepSeek R1の土台にもなったDeepSeek V3は、2つの設計を組み合わせている点が特徴です。
第一に、DeepSeek-V2(arxiv:2405.04434)で導入されたMulti-Head Latent Attention(MLA)です。キー・バリューのテンソルを低次元へ圧縮してKVキャッシュに格納し、推論時に元の次元へ戻します。クエリも訓練時のみ圧縮されます。DeepSeek-V2のアブレーション実験では、GQAはMHAより性能が落ちる一方、MLAはMHAを上回る結果が出ています。
第二に、Mixture-of-Experts(MoE)です。Transformerブロック内のFeedForwardを複数のエキスパートに分割し、ルータがトークンごとに少数だけを呼び出します。DeepSeek V3はブロックを61回繰り返し、各MoEには256のエキスパートを持ちますが、推論時に有効になるのは「常時アクティブな共有エキスパート1つ+選択された8つ」の計9つ。総671BパラメータのうちわずかBに実際に火が入る設計です。これはDeepSeekMoE論文(2024)とDeepSpeedMoE論文(2022)の系譜にあります。発表時、DeepSeek V3はLlama 3の405Bを含む他のオープンウェイトモデルを上回りました。
OLMo 2が選んだ「保守的だが透明」な道
Allen Institute for AIのOLMoシリーズは、訓練データ・コード・技術レポートまで開示する透明性で知られ、OLMo 2(arxiv:2501.00656)はLlama 4・Gemma 3・Qwen 3の登場前、計算量対性能のパレートフロンティアに位置していました。
興味深いのは、OLMo 2がMLAやGQAではなく従来のMHAを使い続けた点です。代わりに、LayerNormからRMSNormへの切り替え、Pre-Norm/Post-Normの配置、そしてQK-normの導入という正規化の見直しに踏み込みました。トレンドを追いかけずとも、設計の細部だけで競争力は引き出せる——OLMo 2はそれを示しています。
💼 事業会社視点：これは自社にどう効くか
「自社でLLMを動かす」前提が現実味を帯びてきた
671Bパラメータのうち推論時に37Bしか動かないというDeepSeek V3の数字は、日本の事業会社にとって看過できません。これまで自社運用の壁だった「フルパラメータ分のGPUメモリが必要」という前提が、MoEとMLAの組み合わせで崩れつつあるからです。
とくにSaaS・受託開発企業の経営層は、顧客データを外部APIに出せない金融・医療・公共案件を、オンプレやVPC内のオープンウェイトLLMで取りに行く選択肢を再評価すべき局面です。Llama 3 405Bをオープンウェイトで超えた事実は、「OpenAI・Anthropic一択」だった提案構成に第三の柱を立てる根拠になります。
一方、EC・コンテンツ事業のように推論コストが収益を直撃する領域では、共有エキスパート+選択エキスパートのスパース設計が単価競争を左右します。CTO・事業責任者は、自社のLLM活用ロードマップに「2026年内にMoE系オープンモデルをPoC」を入れ、推論基盤の選定基準にKVキャッシュ効率(MLA等)を明示的に加えるべきです。インフラ部門任せにせず、経営アジェンダとして握る必要があります。