何が起きたか
OpenAIは、2019年のGPT-2以来となるオープンウェイトLLM「gpt-oss-120b」と「gpt-oss-20b」を公開しました。20bモデルは最大16GBのRAMを備えたコンシューマGPUで、120bモデルは80GBのH100単体または同等以上のハードウェアでローカル実行できます。リリースから数日後、OpenAIはGPT-5も発表しています。
GPT-2から何が変わったのか
gpt-ossもGPT-2も、2017年の論文「Attention Is All You Need」のTransformerをベースとするデコーダ専用LLMという点は同じです。違いは、この6年間で蓄積された改良の集積にあります。
- Dropoutの廃止: 2012年に提案されたDropoutはGPT-2では使われていましたが、現代のLLMは基本的に1エポックしか学習しないため不要となり、2025年のPythia 1.4Bを用いた研究でも単一エポック学習下では性能を悪化させることが確認されています。
- 位置エンコーディングの刷新: 2021年に登場し2023年のLlama初代で広く普及したRoPE(Rotary Position Embedding)を採用。
- 活性化関数の置き換え: 初期GPTのGELUに代わり、計算がわずかに軽いSwish(SiLU)を採用。GoogleのGemmaは現在もGELUを使っています。
- Gated GLUとSwiGLU/GEGLU: 2020年提案のゲート付きGLUで全結合層を3層構成に変更。一見複雑ですが、乗算的相互作用により総パラメータ数は減り性能は向上します。
- MoEとGQA: Mixture-of-Expertsでトークンごとに一部の専門家のみを起動(MoEではエキスパート重みがモデル全体の90%超を占める)、Grouped Query Attentionで複数ヘッドがKey/Valueを共有しメモリを節約。
なぜ重要か
オープンウェイトはローカル実行・社内データでの追加学習・推論コストの内製化を可能にします。GPT-2(XL 1.5B)が出た2019年当時とは異なり、いまや20bクラスが手元のGPUで動く時代です。なお、LM Arenaで純粋なTransformer以外で最上位のJambaが96位、ハイブリッドのHunyuan-TurboSが22位という現状を踏まえても、Transformer系の優位は当面続きそうです。
💼 事業会社視点：これは自社にどう効くか
日本企業の経営者・事業責任者にとって、このリリースは「OpenAI APIに全面依存しない選択肢」が現実解として戻ってきたことを意味します。
特にSaaSベンダーにとって、20bがコンシューマGPU(16GB)で動く点は破壊的です。これまで「LLM機能=API原価が売上に連動して膨らむ」構造でしたが、定型タスク(要約・分類・抽出)を自社サーバの20bにオフロードすれば粗利率を一気に改善できます。受託開発企業は、官公庁・金融・医療など「データを外に出せない」案件をオンプレ提案できる武器を得ます。これは過去2年、Llama系では「OpenAIブランド」を求める発注側を説得しきれなかった営業現場の常識を変えます。
一方でEC・コンシューマ向けサービスの経営者は冷静になるべきです。数日後にGPT-5が発表された事実が示す通り、最先端の品質はクローズドモデルが牽引し続けます。顧客接点のフラッグシップ機能はGPT-5、裏側のバッチ処理はgpt-oss、という二層構成のコスト設計を今四半期中にCTOと握ることが、来期の原価率を決めます。