LLMのスケーリング限界説は本当か？元OpenAI研究者が語る「10兆円のデータ収集競争」の中身
OpenAIを8カ月で退社した研究者Andrew Ho氏が、LLMの汎化性能の低さは計算資源ではなく学習データの欠落に起因すると主張し、今後AI各社が1000億ドル超を「狙い撃ちのデータ収集」に投じると予測しました。バイオインフォマティクスではGPT-5.6 Solでも成功率は約30%にとどまるといいます。
#スケーリング則 の記事一覧（3）
AI開発に数学はもう不要か？スケール則時代に変わる「数学の役割」を整理する
The Gradientは、70億パラメータ・50層級のモデルが主流となった現在、数学の役割が「性能保証」から「事後的な現象説明」へとシフトしていると論じました。畳み込みニューラルネットの基盤となった対称性の発想は40年以上前のものですが、トポロジーや代数といった純粋数学の領域が改めて注目されています。
LLMのスケーリングはAGIに到達するか？データ枯渇と小型モデル化が示す転換点
AI Snake Oilは、モデルを大きくし続けるだけではAGIに到達しない可能性が高いと指摘しました。高品質な学習データは枯渇に近づき、OpenAI・Anthropic・Googleの最強モデルは「最大モデル」ではなくなっています。