LLM推論の高速化は専用チップかGPU最適化か——仏Kogの3,000TPSと「30倍」の落差を読む
フランスのスタートアップKogが、AMD MI300XとNvidia H200という既存のデータセンター向けGPU上で、1リクエストあたり毎秒3,000トークンのデコードを実証しました。ただし使ったのは約20億パラメータの自社モデルLaneformer 2Bで、掲げる「LLM推論30倍高速化」までにはまだ距離があります。
#LLM推論 の記事一覧（5）
DSparkとは？DeepSeekの投機的デコーディングで推論速度を最大85%高速化する新手法を解説
中国のDeepSeekが、AIモデルの1ユーザーあたり応答速度を60〜85%高速化する新フレームワーク「DSpark」を公開しました。北京大学と共同開発され、Hugging Face・GitHub上でMITライセンスで提供されます。
OpenAI独自チップ「Jalapeño」とは？Broadcomと共同開発した推論専用プロセッサの狙いを解説
OpenAIとBroadcomは、LLM推論向けに共同設計した初の独自AIアクセラレータ「Jalapeño」を公開しました。設計から製造テープアウトまでわずか9ヶ月で完成させ、2026年後半からデータセンターへの導入を開始します。
OpenAI独自チップ「Jalapeño」とは？Broadcomと組んだ推論専用ASICの狙いを解説
OpenAIはBroadcomと共同で、LLM推論専用の自社設計チップ「Jalapeño」を発表しました。2026年後半にギガワット規模で稼働させ、Microsoftほかとの運用を計画しています。
OpenAI独自チップ「Jalapeño」とは？Broadcom共同開発のLLM推論専用ASICを解説
OpenAIとBroadcomが、大規模言語モデル（LLM）の推論処理に特化したカスタムASIC「Jalapeño」を発表しました。設計から製造まで9カ月という短期間で第一世代を仕上げ、ワット当たり性能で現行最先端を「大幅に上回る」と主張しています。