AI開発に数学はもう不要か？スケール則時代に変わる「数学の役割」を整理する
The Gradientは、70億パラメータ・50層級のモデルが主流となった現在、数学の役割が「性能保証」から「事後的な現象説明」へとシフトしていると論じました。畳み込みニューラルネットの基盤となった対称性の発想は40年以上前のものですが、トポロジーや代数といった純粋数学の領域が改めて注目されています。
#スケーリング則 の記事一覧（2）
LLMのスケーリングはAGIに到達するか？データ枯渇と小型モデル化が示す転換点
AI Snake Oilは、モデルを大きくし続けるだけではAGIに到達しない可能性が高いと指摘しました。高品質な学習データは枯渇に近づき、OpenAI・Anthropic・Googleの最強モデルは「最大モデル」ではなくなっています。