何が起きたか

THE DECODERが2026年8月20日に伝えた対談で、リチャード・サットンが「学習データが尽きたら合成データで補えばよい」という現在の主流戦略を明確に否定しました。合成データで解決できるかという問いに対する返答は、「いや、それはただの大きな間違いだ」でした。

サットンは強化学習の教科書を書いた分野の創始者の一人で、AlphaGoに関わったデビッド・シルバーらを指導した人物です。2019年のエッセイ『The Bitter Lesson（苦い教訓）』では、長期的には人間の知識を作り込む手法ではなく、計算資源とともにスケールする探索と学習だけが勝つ、と論じました。対談では、元教え子のジャベードと立ち上げた新会社Oak Labも紹介されています。

なぜ重要か

興味深いのは、サットンがLLMを『The Bitter Lesson』の「良い例であり、悪い例でもある」と評している点です。良い例なのは、計算資源とともに巨大にスケールし「インターネットを飲み干す」ことができたから。悪い例なのは、まさにそこで壁にぶつかったからです。インターネットは有限であり、現実世界は「インターネットに蓄えられたすべてよりも圧倒的に大きい」。だからこそ現在のシステムは人間の知識に寄りかかりすぎており、それが足枷になっている——これがサットンの見立てです。

つまり彼の批判は「LLMはダメだ」という単純な否定ではありません。同じ論理（人間の作り込みに頼る手法は最後に負ける）を、合成データという“次の一手”にも一貫して適用しているのです。合成データは結局、人間が作ったシミュレータや人間が良し悪しを決めたデータであり、人間の知識という有限の井戸を掘り直す行為に見える、ということになります。

Big World Hypothesisという足場

合成データ否定の根拠が、ジャベードが定式化しアルバータのグループが長年取り組んできた「Big World Hypothesis」です。中核の仮定は、世界は無限に複雑で、いかなる心やエージェントよりも「圧倒的に複雑」であり、したがってそのシミュレーションはどれも「顕微鏡的」にすぎない、というもの。小さなプログラムが生み出せるのは小さな世界でしかなく、摩擦係数が違っていたり、ロボットのモーター挙動のモデルが不正確だったりします。さらに世界には他のエージェント（他者）が無数にいて、サットンいわく「他人の心の合成データを作る方法などない」。

第二の反論は人間ボトルネックです。どの合成データが良くてどれが悪いかを判断するには専門家が要る。ジャベードが挙げた例は、コウモリのように反響定位で飛ぶドローンを訓練する話で、まずその領域の専門家を雇うところから始まります。シミュレーションで訓練する自動運転車でさえ、シミュレーションと現実のギャップを最後に埋めるのは人間です。「その手法がスケールするには、良いデータセットと悪いデータセットを見分けられる人間の専門家が必要になる。つまり人間がボトルネックだ」。

代案は「自分で経験する」

サットンの代案は、人間をループから外し、エージェント自身の経験から学ばせること。凍結された人間製のシミュレータに頼るのではなく、エージェントが自ら世界モデルを学び、継続的に修正していく（「シミュレータは自分で作る」）。ここで障害になるのが、現在の言語モデルが訓練後に学習を止め「重みが二度と変わらない」点です。サットンは破滅的忘却（過去の知識が消える現象）を伴わない本当の継続学習を求め、その一部はチームがNatureに発表した「Continual Backprop」で解けると見ています。

評価は辛口かつ公平です。言語モデルは「驚くべき科学的ブレークスルー」だが、知能の「20%か4分の1くらい」にすぎない。

💼 事業会社視点：これは自社にどう効くか

日本企業の役員が読むべき論点は「合成データはスケール戦略ではなく、人材投資である」という点です。ジャベードの指摘どおり、合成データの良し悪しを判定するのは結局ドメイン専門家です。製造業や物流で「シミュレーションで学習データを増やす」と提案されたら、まず問うべきは生成コストではなく、品質を判定できる自社の専門家が何人いて、その人が何年張り付くかです。ここを見誤ると、外注費より内部工数が膨らみます。

受託開発・SIerにとっては逆に商機です。摩擦係数やモーター挙動のズレ、シミュレーションと現実のギャップを埋める作業は、サットンが「人間がボトルネック」と切り捨てた領域そのものですが、当面その需要は残ります。汎用モデルの再販ではなく、現場データの取得・検証・シム調整という泥臭い工程を商品化する方が防御力があります。

SaaS・EC事業者への含意は別です。LLMは「重みが二度と変わらない」——顧客固有の学習はモ��ル本体ではなく、自社が蓄積するログ・行動データと検索・評価の仕組み側に置くしかありません。サットンが知能の「20%か4分の1」と言う残りの部分に賭けるより、自社の一次データを継続的に取り込める構造を今のうちに設計しておくことが、次の基盤モデル世代でも腐らない投資です。