何が起きたか
Kogは、推論専用チップを作るCerebras（5月に堅調なIPOデビュー）とは逆の方向に賭けています。企業がすでに保有する標準的なデータセンターGPUから、まだ性能を絞り出せるという主張です。
5月に公開したテックプレビューはHacker Newsのトップページに到達しました。訴求点は「企業がすでに持つ標準的なデータセンターGPUで、極めて高速な単一リクエストのデコードが可能である」こと。デモにはAMD MI300XとNvidia H200を使い、1リクエストあたり毎秒3,000トークンを記録しています。CEOのGaël Delalleau氏によれば、このプレビューから200件の具体的な商談リードが生まれました。
数字の読み方——3,000TPSは何の数字か
注意すべきは、この3,000TPSが汎用の大規模モデルではなく、約20億パラメータの専用小型モデル（現在はオープンソース化されたLaneformer 2B）での結果だという点です。同社が掲げる「30倍高速なLLM推論」との間には大きなギャップが残ります。
Delalleau氏は同じ手法がLLMでも通用するとし、「GPUはデコードに向かない」という見方は誤解だ、新しいGPUのメモリ帯域は増え続けている、と反論します。検証点は明快で、同氏が9月と見込む「最初の主要モデルを10倍速で実装」というマイルストーンです。ここが達成できれば顧客トラクションを示してシリーズAに進む、というのが同社の筋書きです。
なぜ「バッチ」ではなく「単一リクエスト」なのか
推論の高速化は、多数のリクエストをまとめて処理するスループット改善として語られがちですが、Kogが狙うのは1リクエストの待ち時間です。Delalleau氏が最初のユースケースに挙げるのはソフトウェア開発。Claude Codeの利用者が結果を数時間待つことがあり、AnthropicはClaudeのFast Modeに割増価格を設定している——つまり「速さ」自体に値札がついている領域です。プロンプトからゲームやアプリを生成するデザインパートナーも抱えており、出力が速くなればそのまま売上に直結します。
興味深いのは、市場の未成熟さについての同社の判断です。見込み顧客は小型モデルをファインチューニングする準備ができていなかった。だからローンチ以降、大型モデルの高速化に全振りした、と説明しています。「小さく作り直せば速い」は技術的には正しくても、買い手の運用実態に合わなかったわけです。
手法とスケールの制約
Delalleau氏は研究者ではなく、École Polytechniqueで固体物理を学び、攻撃側のサイバーセキュリティ（ホワイトハット）出身。DEFCONのCTF決勝に4回進出しています。アセンブリやバイナリのレベルまで降りて、本来意図されていない使い方を引き出すという発想がKogの手法の核にあります。
代償は時間です。新しいGPUごとに数週間から数カ月をかけて作り込む必要があり、11人の体制では対応できるチップ数が限られます。長期的にはこの方法論をエージェント型のパイプラインに載せ、対応チップ・モデルを広げる構想で、欧州では主権（ソブリンティ）の追い風にもなり得ます。同社はScalewayの支援を受け、BpifranceとFrench Tech 2030がバックにつきます。GPU向けソフトウェア最適化では同じフランスのZML（CUDAを迂回するハードウェア非依存ソフト）もいますが、Delalleau氏は自社をスタンフォード大学のHazy Researchに近い、より深いGPU最適化の立場だと位置づけています。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社にとっての論点は「GPUを買い替えるか、持っているGPUを速くするか」です。生成AIの内製基盤を持つ製造・金融・通信の情報システム部門は、H200世代を調達済みでも体感速度に不満が残るケースが多いはずです。Kogのような低レベル最適化は、追加調達なしにレイテンシを削る選択肢が今後出てくることを示唆します。ただし現時点の実証は約20億パラメータのLaneformer 2Bであり、9月に予定される主要モデル10倍の実証を見てから評価するのが妥当です。
SaaS事業者と受託開発会社には、より直接的な示唆があります。AnthropicがClaudeのFast Modeに割増価格を設定し、Kogに200件のリードが集まったという事実は、「速さそのものが課金対象になる」市場が立ち上がっている証拠です。プロンプトからアプリやゲームを生成する事業では、出力が速いほど売上が増えるとKogのデザインパートナーは見ています。自社プロダクトでも、待ち時間を短縮する上位プランが成立するか、逆に競合が速度で差をつけてきたとき何を防御に使うのかを今期中に検討すべきです。
一方、Kogが「顧客は小型モデルのファインチューニングをする準備がなかった」と判断した点は、日本企業のAI内製化計画への警告でもあります。モデルを自社で削り込む前提の中期計画は、運用人材の実態と乖離していないか点検が要ります。