LLM推論の高速化は専用チップかGPU最適化か——仏Kogの3,000TPSと「30倍」の落差を読む
フランスのスタートアップKogが、AMD MI300XとNvidia H200という既存のデータセンター向けGPU上で、1リクエストあたり毎秒3,000トークンのデコードを実証しました。ただし使ったのは約20億パラメータの自社モデルLaneformer 2Bで、掲げる「LLM推論30倍高速化」までにはまだ距離があります。
#推論高速化 の記事一覧（4）
OpenAIの「Ultrafast」とは？毎秒750トークンのGPT-5.6 Solが変える業務設計と、速度課金モデルの本質
OpenAIが、フラッグシップモデルGPT-5.6 Solで最大毎秒750出力トークンを実現する新モード「Ultrafast」のプレビューを開始しました。推論の高速化には、年内に100億ドル規模の提携を結んだCerebrasの技術が使われ、当初はOpenAI APIの一部顧客に限定して提供されます。
DiffusionGemmaとは？Googleが既存モデルを「拡散化」して毎秒1,500トークンを実現した仕組みと限界
Google DeepMindが実験的なテキスト拡散モデル「DiffusionGemma」を公開しました。ゼロから学習せず既存のGemma-4-26B-A4Bを元の学習トークン予算の1割未満で変換し、精度を同等に保ったまま出力速度を数倍（毎秒約1,500トークン）に引き上げた点が新しさです。
入力トークンを16分の1に圧縮、推論速度8.8倍——NYUら6機関がLLM新アーキテクチャ「LCLM」をオープンソース公開
NYU・コロンビア大学・プリンストン大学・メリーランド大学・ハーバード大学・ローレンス・リバモア国立研究所の共同研究チームが開発した「Latent Context Language Models（LCLM）」は、LLMの入力トークン列をデコーダー処理前に最大16分の1へ圧縮し、KVキャッシュ手法と比較して出力速度を8.8倍向上させた。16倍圧縮時でもRULERベンチマークで75.06%の精度を維持し、検証済みの全KVキャッシュ手法を上回る結果を出した。