何が示されたか
SemiAnalysisは2,000基超のH100と、新世代のGB200 NVL72を対象に学習性能の実機ベンチマークを行いました。比較対象はLlama4 400B MoEとDeepSeek 670B MoEで、評価軸はMFU(Model FLOPs Utilization)、TCO、1Mトークンあたり学習コストの3点です。注目すべきは、GB200 NVL72でのフロンティア規模の学習はまだ完了例がなく、ソフトウェアの成熟と銅製NVLinkバックプレーンの信頼性問題が残っているという報告です。現時点で大規模学習に実用的に使えるのはNvidia H100/H200とGoogle TPUのみ、というのが同社の評価です。
なぜ1.6倍という数字が決定的か
GB200 NVL72のラック単価はハイパースケーラ調達で約310万ドル、付帯コミ約390万ドル。GPU1基あたりの設備コストはH100の1.6〜1.7倍、消費電力もチップあたり1200Wと700Wの差で運用費が膨らみます。結果として全体TCOは約1.6倍。これは「1.6倍速くなければ単価が下がらない」というシビアな損益分岐点を意味します。
ソフトウェアで殴る時代
一方でH100側は、CuDNN/CuBLASのfused wgmmaカーネル最適化やNCCLの集合通信改善だけで、2024年1月から12月の12ヶ月でBF16 MFUが34%→54%(+57%)、FP8 MFUが29.5%→39.5%(+34%)に伸びました。GPT-3 175Bを300Bトークン学習する費用は21.8万ドルから16.2万ドルへ低下。ハードを買い替えなくても、ソフトウェア更新だけで4分の1近いコスト削減が起きた事実は、買い替え判断に直接効きます。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社・経営層への含意
国内でGB200に飛びつく前に、立ち止まる根拠ができた。 自社学習を検討するSaaS事業者、レコメンドや需要予測を内製するEC・小売、生成AI受託のSIerにとって、SemiAnalysisが示した「TCO1.6倍=性能も1.6倍必要」という不等式は意思決定の基準線になります。GB200 NVL72はソフトウェアスタックが未成熟で、信頼性課題も残るため、本番投入は早くても年末以降と読むのが妥当です。
短期的な打ち手は3つ。 (1)自社学習はH100/H200の時間貸し継続が最適解で、12ヶ月で5割超のMFU改善が起きた事実から、契約は短期スポット中心に再交渉すべきです。(2)GCPのa3-megaのように同じH100でもMFUが平均比10〜20%劣る環境が存在するため、クラウド選定はカタログ単価ではなく実MFU実測で評価する必要があります。SemiAnalysisが進めるClusterMAXv2でNVIDIA Exemplar Cloud認定が重み付けされる方向は、調達側のチェックリストに加えるべきです。(3)経営判断としては、年内のGB200本格稼働を見越して2026年Q1以降の調達枠を仮押さえしつつ、自社で学習せずAPI利用に徹する選択肢の再評価も並行で行うべきです。価格は今後も下がります。