OpenAIが推論コストを半減、GPU数百台でChatGPT無料層を捌く体制へ
OpenAIが既存モデルの推論コストを半分以下に圧縮し、アカウント無しのChatGPT訪問者を「数百台」のNvidia GPUだけで捌く体制に移行したとThe Informationが報じました。DeepSeekも推論を60〜85%高速化するオープンソース手法を公開しており、フロンティア各社の単位コスト競争が新局面に入っています。
OpenAIが既存モデルの推論コストを半分以下に圧縮し、アカウント無しのChatGPT訪問者を「数百台」のNvidia GPUだけで捌く体制に移行したとThe Informationが報じました。DeepSeekも推論を60〜85%高速化するオープンソース手法を公開しており、フロンティア各社の単位コスト競争が新局面に入っています。