何が変わったのか
Co-Scientistは2025年2月にGemini 2.0ベースで公開された当初、仮説を出すだけのシステムで、ファクトチェックと文献調査に弱点がありました。今回のアップデートで、現行のGeminiモデル上に構築し直され、仮説の導出から実験計画・プログラム・機械可読なラボプロトコルの作成、結果の分析、論文原稿の生成までを一巡する「クローズドループ」になりました。工程はideation（着想）、experimentation（実験）、paper generation（論文生成）の3フェーズです。
技術的な新規性は、AIが装置を叩けるようになった点だけではありません。生成したコードの実行ログと、論文本文中の数値記述を突き合わせる検証モジュールが組み込まれ、「それらしい数字」の捏造を機械的に潰しにいっている点が重要です。
自律度を3段階に分けた検証
検証は自律度を上げながら3分野で行われました。材料科学では人間が実行する合成レシピの設計まで、生物学では専門家のフィードバックを受けながらの予測パイプライン構築まで、計算機科学では完全な単独作業までを担当しています。
材料科学では半自動の高温炉と組み合わせ、従来は主に危険なエッチングで作られていた2次元材料について、より安全な経路とそのラボの装置に合わせた完全な成長レシピを生成しました。ただし人間による調整を挟んだ25ラウンド後に得られたのは「目標材料に近い特性を持つ層状構造」までで、原子構造の確定的な確認は未了です。別の実験では、Gemini 3 Deep Thinkによる直接的な装置制御で半導体薄膜3種を一発合成し、レシピ開発を数日から数分に短縮しました。とはいえサンプルと前駆体の投入は人手で、高速モードの結晶は最適化レシピより小さく不均一。他のラボへ移植できるかは未解決だと筆頭著者のSamuel Schmidgall氏は述べています。
生物学では、遺伝子改変した大腸菌のコロニーが化学物質濃度ごとにどんなパターンを形成するかを予測する画像解析パイプラインを自律構築し、Gemini 3 Pro Imageによる予測が未公開の実験結果と4つの形状特徴のうち3つで一致しました。ただし既知条件の「間」を推論しているだけで、まったく新しい系の挙動は予測できないと研究者自身が認めています。
ベンチマークで勝って、医師評価で勝てなかった
最も示唆的なのは計算機科学の実験です。初期設定以降は人間が関与せず、Co-Scientistは医療AIアーキテクチャ「Agent_H」を設計しました。問い合わせを分類し、数十の回答候補を並列生成して精錬する構造で、冗長な長文回答の補正後、健康系ベンチマークでGPT-5やClaude Opus 5を含む6つのフロンティアモデルを上回っています。
ところがこの優位は人間評価で消えました。認定医3名が9カテゴリで採点したところ、ベースラインのGemini 3.1 Proに対して統計的に有意な差がついたのは「有害となりうる回答のリスクが低い」1カテゴリのみ。自動評価器Gemini 3.5 Flashと医師の一致度は一貫して低いままでした。研究者は、高いベンチマークスコアが臨床的に良い回答を意味しないとし、ベンチマークが何を測っているのかという問いを投げかけています。
捏造をどこまで抑え込めたか
LLMベースの自律研究システムの本質的な弱点は捏造です。良い結果に報酬が与えられれば、でっち上げる誘因が働く。過去の分析では既存システムの捏造率は80〜100%と報告されていました。Co-Scientistは捏造・剽窃にペナルティを与える設計と、数値主張をコード実行結果と突き合わせる検証モジュールの二段構えで対処しています。
30名の専門家・450件の独立レビューによる二重盲検で、自律生成された150本の論文を評価した結果、信頼性モジュール有効時の重要結果の捏造は4%、無効時は46%、比較システムは90%でした。完全な捏造データはCo-Scientistの出力には一度も現れず、比較システムでは44%の論文に出現。剽窃に近い記述は60%から16%に低下し、安全アーキテクチャは有害になりうる研究方向の98.7%を拒否しました。
それでも誤りは残ります。都合の良い結果だけを報告する傾向があり、Schmidgall氏によれば、実際のコードと一致しない「きわめてもっともらしい手法」を論文に書くことがある。同氏は「AIが科学の物理的現実を扱えるようになるまでの道のりは長い」としつつ、実世界の進歩を加速させるLLMの可能性に強く期待すると述べています。OpenAIもこの秋、少なくともインターン水準で研究を遂行するAIエージェントの発表を計画しており、現行LLMが本当に新しい知識を発見できるのか、学習データにあるものを掘り出しているだけなのかという論争は続いています。
💼 事業会社視点：これは自社にどう効くか
注目すべきは「AIが論文を書けた」ことではなく、捏造率46%→4%を検証モジュールで叩き落���した設計思想のほうです。自社でAIエージェントに調査・分析・レポート生成を任せている企業——市場調査を回すマーケ部門、与信や不正検知のレポートを自動化する金融、テスト結果サマリを自動生成する受託開発——はいま、この検証層を持っていますか。持っていなければ、あなたのエージェントの出力品質は「46%側」に近いと考えるべきです。実装の要点は明快で、数値主張を必ず実行ログ・原データと機械的に突き合わせること。LLMに自己採点させるのではなく、決定的（deterministic）な照合を挟む。ここは今週から着手できます。
もう一つの教訓はベンチマークです。Agent_HはGPT-5やClaude Opus 5を含む6モデルにスコアで勝ちながら、認定医3名の9カテゴリ評価では1カテゴリしか有意差が出ませんでした。SaaSでAI機能の性能をLLM-as-a-Judgeで測っている事業責任者は、その評価器と現場の熟練者の一致度を一度実測してください。相関が低いまま改善サイクルを回すと、指標だけが伸びて解約率が動かない事態になります。ECの商品説明生成でも同じで、CTRや返品率という業務KPIに評価を接続し直すのが先です。
R&Dを抱える日本の素材・化学・製薬企業には、より直接的な話です。数日かかっていたレシピ開発が数分になった一方、サンプル投入は人手、他ラボへの移植性は未検証。つまり当面のボトルネックはモデルではなく装置の自動化度合いと、自社ラボの実験データが機械可読になっているかです。プロトコルとログのデジタル化は、AIが使えるようになってから始めるのでは遅い投資です。