わずか約22万円で1Bパラメータモデルを訓練——Sapient IntelligenceのHRM-Textが示す低コストAI開発の可能性
Sapient Intelligenceは、Transformer非依存のHierarchical Recurrent Model（HRM）アーキテクチャを採用した10億パラメータの基盤モデル「HRM-Text」を、約1,500ドル（約22万円）の計算コストで訓練したと発表した。16基のGPUを使い1.9日で完成したこのモデルは、Qwen・Gemma・Llamaといった同規模モデルに比べ、最大900分の1のトークン数・最大432分の1の計算量で同等水準のベンチマーク性能を達成している。