何が起きているか

AI推論のワークロードが、単発の質疑応答から、数十〜数百回のモデル呼び出しを連鎖させるエージェント型システムへと移行しています。各呼び出しが状態を生成し、さらに監査・ガバナンス・再利用のためにセッションをまたいで保持する必要が出てきました。結果として、ボトルネックは計算ではなくコンテキストに移っています。

Nvidiaはこの構造を「CMX」として正式に位置づけ、GPU内のHBMとネットワーク越しのバルクストレージの中間に、高性能・高密度のフラッシュ層を置くアーキテクチャを推奨し始めました。Solidigmなどのストレージ各社は、この用途に最適化したSSD製品の開発を進めています。

なぜ重要か

GPUはFLOP当たりで劇的に安くなり、推論サービングエンジンも効率化しました。にもかかわらず、コンテキストはそれ以上の速度で膨張しています。KVキャッシュが高速アクセス可能な層に保持されていないと、推論のpre-fill段階で再計算が発生し、GPUサイクルが「新しい価値を生まない再生産」に費やされます。

この構造的ロスを可視化するため、業界の関心は「ドル当たりの生トークン数」から「ドル当たりの有用トークン数（goodput）」に移りつつあります。SolidigmのJeff Harthorn氏は「GPU利用率は、実は一部がストレージ問題だ」と指摘しています。

3層構造への移行

従来のストレージは、GPUサーバー内蔵ドライブ（G3）とネットワーク越しのストレージサーバー（G4）の2層で語られてきました。新しいコンテキスト層はそのいずれとも異なり、アクセラレータに対して低レイテンシでコンテキストを供給することに特化します。要件はピーク帯域ではなく、予測可能なテールレイテンシ、ペタバイト当たりのワット数、NVMe over Fabrics・RDMA・将来的なCXLによるネットワーク統合です。

DRAMはギガバイト単価でNANDより桁違いに高価で、供給量と熱設計の制約も厳しい。Floating gate NANDの密度・電力特性をテコに、DRAM依存を引き下げるのが狙いです。Ace Stryker氏が指摘するように、これはオブジェクトストレージが独立カテゴリとして立ち上がった経緯と類似しています。

💼 事業会社視点：これは自社にどう効くか

日本の事業会社にとって、これは「自社のAI活用ROIを左右する物理層の話」です。

第一に、SaaS事業者と社内AIプラットフォームを構築中のSIer・受託開発企業は、API課金と自社GPU運用の損益分岐を再計算する必要があります。エージェント型ワークフローを本番化するほど、再pre-fillで消えるGPUコストが膨らみ、見かけのトークン単価より実効コスト（goodput）が悪化します。クラウド側のKVキャッシュ機能の有無で同じプロンプトでも実質コストが数倍変わり得るため、調達基準を「トークン単価」から「セッション持続時の累積コスト」に切り替えるべきです。

第二に、EC・金融・製造など監査要件のある業界では、推論状態の永続化が「あれば良い」から必須に変わります。会話履歴・推論根拠を保全する基盤がなければ、生成AIを基幹業務に組み込めません。

第三に、データセンター投資を控える通信・クラウド事業者は、Nvidiaが2026年初頭に向けて推奨する「ストレージ3層構成」を前提に設計を見直す好機です。Harthorn氏が示唆する通り、SSD層への投資はGPU増設より少額で同等の実効性能を得られる可能性があります。