何が公開されたか
Sayash KapoorやArvind Narayananら(書籍『AI Snake Oil』の著者)を含む研究チームが、AIエージェントによる科学論文の「計算的再現性(computational reproducibility)」を評価するベンチマーク CORE-Bench(Computational Reproducibility Agent Benchmark) を発表しました。コードとデータが揃った状態で、論文の結果をAIが再現できるかを問う設計です。
コンピュータサイエンス・医学・社会科学の3分野から、Code Ocean経由で集めた論文を著者らが手作業で90本再現し、検証用の質問を整備。難易度は3段階で、最難関レベルは現実の再現作業に近づけてあります。すべての難易度で言語と視覚の両方の処理能力が要求されます。
どこまでできるのか
汎用エージェントのAutoGPTをそのまま使うと最難関レベルの正答率は10%未満。これに対し、研究チームがAutoGPTを数人日程度の手間でタスク特化に改造した CORE-Agent(GPT-4oベース)では22%まで上昇しました。再現は単なる再現実験と異なり、人間を対象とした再実験を含まないため「より制約の緩い」課題ですが、それでも8割近くは再現に失敗する水準です。
2022年のMachine Learning Reproducibility Challengeでは、専門家がコードとデータにアクセスできても3分の1超の論文が再現できませんでした。CORE-Benchが浮かび上がらせるのは、AIエージェントどころか人間でも難しい工程が現実に存在する、という現場感です。
「汎用性」の見直しを迫る
注目すべきは、汎用エージェントを数人日でタスク特化版に作り変えただけで精度が倍以上になった事実です。著者らは、これは AGIが前提とする「汎用性」の意味を問い直すべき兆候 だと指摘します。汎用と特化の境界が薄いなら、「あらゆるタスクを一つのモデルでこなす汎用知能」ではなく「汎用基盤を低コストで特化に派生させる体制」こそ実用上の競争軸になります。
先行する SUPERベンチマーク(Ben Boginら)はAI研究のセットアップに特化しPython+Jupyter前提でしたが、CORE-Benchは分野を跨ぎ、PythonとRの両方に対応し、シェルアクセスとサンドボックス改変を許容します。「研究のためのAI」評価の解像度が一段上がった形です。
💼 事業会社視点：これは自社にどう効くか
国内事業者がいま読むべき含意
SaaS・受託開発の経営者にとって、本研究の最大の示唆は「汎用エージェントの素朴な導入は期待外れに終わる」一方で「数人日の特化改造で精度が倍以上に化ける」という非対称性です。AutoGPTを丸ごとPoCに投げて成果が出ないと結論づける企業が増えていますが、撤退判断はまだ早いと言えます。
製薬・素材・金融の研究部門を持つ事業会社は、社内に眠る検証・再現業務(他社論文の追試、内部レポートの再計算)にCORE-Bench型の評価を持ち込むべきです。最難関で22%という数字は、現時点で人間置き換えではなく「下準備を担う一次オペレーター」としての投資判断を意味します。
受託開発・SIerにとっては、汎用エージェント基盤を顧客業務に派生させる「アダプテーション工数の見積もり力」が新しい差別化軸になります。「数人日でどこまで精度を引き上げられるか」を提案フェーズで提示できる体制が、PoC止まりを脱する鍵です。汎用モデルの選定より、特化派生のSOP整備に投資する局面に入りました。