何が起きたか

Meta AIとUIUCの研究者が、EvoHarness-RLという学習フレームワークを発表しました。狙いは、エージェントの「ハーネス」を人手のルールで書き固めるのをやめ、モデル自身に使い方を学ばせることです。

ここで言うハーネスとは、エージェントの周囲でランタイムとして動く支援層のことです。サーバーログのような実行フィードバック、状態トラッカー、完了・未完了サブゴールの制御フロー、長時間タスクでのエラー復旧用のツールや指示——こうした「モデル本体ではない部分」の総称です。従来はここに、人間の開発者が「いつ・どのツールを・どう使うか」を逐一書き込んできました。結果としてエージェントは自律しているようで自律しておらず、自分の行動のコストと便益を天秤にかける訓練を受けていません。

EvoHarness-RLは、この支援系を Belief・Progress・Experience(BPE) という単一インターフェースに統合します。Beliefは「今の環境をどう認識しているか」、Progressは「何が終わり、何が残り、何が他に依存しているか」、Experienceは「過去タスクからの学び」を担います。エージェントはこれを track / commit / recall / note という4つのメタアクションだけで操作します。

学習は2段階です。まず教師ありのハーネス・ファインチューニングで、雑然としたインタラクションログから有用な事実を抽出しBPEの形に構造化する能力を仕込みます。次に「コスト意識のある」強化学習で、外部状態にアクセスする価値が予算コストに見合うかを判断させます。

なぜ重要か

数字が示すのは、モデルサイズではなく状態管理の設計が成否を分ける領域があるということです。Qwen3-8Bは同一構成のReActベースラインから 49.0ポイント 改善して96.9%に達し、学習型の先行手法SkillRL(89.9%)やSkillOS(80.2%)を上回りました。そのうえで、そのまま使ったClaude Opus 4.5(96.4%)と実質同等です。

さらに重要なのは、強化学習を経なくてもBPEをプロンプト時のハーネスとして被せるだけで、フロンティアモデルの実行力が伸びた点です。GPT-4.1は22.1ポイント、GPT-5は25.7ポイント成功率が上がりました。つまりこの枠組みは、自社で学習を回せない組織にも部分的に持ち込めます。

「ハーネス焼きなまし」という観察

研究チームは訓練中に2つの挙動を観測しています。ひとつは harness annealing(ハーネス焼きなまし)。強化学習の初期、エージェントはほぼ毎ステップでExperienceとProgressを参照していましたが、定型動作を習熟するにつれ外部ツールへの依存を減らし、成功パターンをパラメータ側に取り込んでいきました。これはそのままレイテンシ低下と計算コスト削減に効きます。

もうひとつは harness evolution。単純で慣れたタスクではツールを迂回する一方、未知の環境や想定外の障害に直面するとBeliefとExperienceの利用を増やしました。人間が「慣れた作業はメモを見ない、初めての作業は手順書を開く」のと同じ配分を、学習によって獲得したことになります。

この2つは、append-only(追記型)メモリへの批判とも接続します。Ning氏は「追記型メモリは、文脈が多いほど良いと仮定しているが、それは必ずしも正しくない」「長時間のタスクでは、古くなった結論、失敗した試行、もはや関係のない情報がメモリに溜まる」と述べています。Harness-1のような自己進化型フレームワークは過去の軌跡を手続き的記憶(再利用可能なスキル、ワークフロー、コードライブラリ)へ蒸留してきましたが、長期のスキル整備とエピソード内のリアルタイム状態追跡は分離されがちでした。BPEはそこを一本化しています。

実務ドメインへの写像

Ning氏は具体的な対応づけも示しています。ソフトウェア開発なら、Beliefはリポジトリに対する現在の理解、Progressは完了・未完了・依存関係の追跡、Experienceはユーザーフィードバックのような教訓です。金融のコンプライアンス監査なら、Beliefは適用ルールと証跡、Progressは完了チェックと未解決の例外、Experienceは繰り返し現れる不一致やエスカレーションの引き金の認識にあたります。「これらの状態が揃うことで、エージェントが作業を見失ったり、同じ失敗を繰り返したりするのを防げる」(Ning氏)。

そして、既存資産との共存が現実的に設計されています。EvoHarness-RLは環境アダプタを備え、内部実装を各組織のツールに固有のまま保ちつつ、学習可能な層だけを共有できます。Ning氏も「既存のツールやエージェント基盤を置き換える必要は必ずしもない。BPEは追加の状態管理レイヤーとして機能しうる」と述べています。

💼 事業会社視点:これは自社にどう効くか

役員が読むべき論点は「モデル選定」ではなく「ハーネスを資産として持てるか」です。Ning氏の指摘——最適なハーネスはモデルごとに変わり、すべてを手書きするとモデル更新のたびにチューニングとデバッグの長期サイクルが再発する——は、日本企業のAI導入で最も見えにくいコストそのものです。プロンプトと分岐条件を人手で積み上げたエージェントほど、乗り換え時に価値がゼロに戻ります。

受託開発・SIerには直接的です。「ワークフローを緻密に作り込む」ことが納品価値だった案件は、学習可能な状態管理層に置き換わりうる。逆に、環境アダプタで顧客固有のツール実装を残せる設計は、業務知識を持つ受託側に有利な分業でもあります。提案書のどこまでが再利用可能な資産かを、今期中に棚卸すべきです。

SaaS・ECでは、まずRL抜きのBPEプロンプト適用が現実解です。GPT-4.1で22.1ポイント、GPT-5で25.7ポイントという伸びは、学習基盤を持たない事業会社でも取りにいける改善幅です。そのうえで、フロンティアモデルで高品質な整理データを作り、オープンウェイトモデルをファインチューニングして定常的な状態管理を担わせる非同期ハイブリッド構成が、コスト最適化の型になります。

ただし全社適用は誤りです。Ning氏自身が短く安定したタスクにはReActや通常のRAGで十分だと認めています。判断軸は明快で、エージェントが数時間〜数日、数週間動き続ける業務か。長時間走る監査・移行・運用系から着手し、問い合わせ応答のような短距離タスクには持ち込まないことです。

関連リンク