#AIインフラ の記事一覧(6)

入力トークンを16分の1に圧縮、推論速度8.8倍——NYUら6機関がLLM新アーキテクチャ「LCLM」をオープンソース公開
2026-06-11 ・ VentureBeat

入力トークンを16分の1に圧縮、推論速度8.8倍——NYUら6機関がLLM新アーキテクチャ「LCLM」をオープンソース公開

NYU・コロンビア大学・プリンストン大学・メリーランド大学・ハーバード大学・ローレンス・リバモア国立研究所の共同研究チームが開発した「Latent Context Language Models(LCLM)」は、LLMの入力トークン列をデコーダー処理前に最大16分の1へ圧縮し、KVキャッシュ手法と比較して出力速度を8.8倍向上させた。16倍圧縮時でもRULERベンチマークで75.06%の精度を維持し、検証済みの全KVキャッシュ手法を上回る結果を出した。

AIベンチマークが見落とす「データ配送」の壁――GPUの価値を左右するストレージ経路の実態
2026-06-11 ・ VentureBeat

AIベンチマークが見落とす「データ配送」の壁――GPUの価値を左右するストレージ経路の実態

F5やMinIOの技術者らは、企業のAIインフラ評価がGPUのコンピューティング性能に集中するあまり、ストレージからGPUクラスターへのデータ配送経路に潜むレイテンシやネットワーク劣化の影響を過小評価していると警告する。S3ではわずかなレイテンシの導入でもスループットが顕著に低下することが確認されており、本番環境での性能を左右する「データパス」の設計が戦略的課題として浮上している。

OpenAI、オハイオ州に10ギガワット超大型データセンターを交渉中——NvidiaがリースのXXX保証人に
2026-06-10 ・ The Decoder

OpenAI、オハイオ州に10ギガワット超大型データセンターを交渉中——NvidiaがリースのXXX保証人に

OpenAIは、ソフトバンク傘下のSB Energyがオハイオ州南部の連邦所有地に計画する10ギガワット規模のデータセンターについて、20年間のリース契約を交渉中であることが明らかになった。Nvidiaがリースおよびプロジェクト融資の財務保証人を務める方向で、総建設費は少なくとも5000億ドルに上る見込みだ。

← タグ一覧へ