何が発表されたか
上海人工知能研究所の研究チームが、LLMエージェントが自身の「ハーネス」を自律的に改良するフレームワーク「Self-Harness」を公開しました。ハーネスとは、システムプロンプト、ツール、メモリ、検証ルール、ランタイムポリシー、オーケストレーション、失敗回復手順といった、モデルを取り囲む運用基盤の総称です。SWE-agent、Claude Code、Codex、OpenHandsなどはいずれもハーネスの代表例で、エージェントの失敗の多くはモデル本体ではなくこの周辺設計に起因するという指摘があります。
三段ループで「自分の弱点」を直す
Self-Harnessは(1)弱点マイニング(2)改修案の生成(3)改修案の検証という三段階を繰り返します。エージェントがタスクを実行して失敗ログを類型化し、「提案者(proposer)」役が失敗パターンに紐づく最小限の修正案を複数生成、回帰テストで性能低下がないと確認できたものだけを採用する設計です。
モデルごとに違う「直し方」
興味深いのは、最適な修正がモデルごとに異なる点です。MiniMax M2.5には「50回ツール呼び出しで強制的に方針転換するループ破壊」と「成果物の初期版を早期に作る」ルールが入りました。Qwen3.5-35B-A3Bには完全重複コマンドの禁止と、ファイルエラー後の即時再生成。GLM-5にはシェルセッションをまたぐPATH変数の維持や、外部計算の制限、結論前のサニティチェック修復が導入されました。同じ「エージェントの躓き」でも、モデルの癖に応じて処方箋が違うことが実証された格好です。
限界とコスト
手動チューニング工数の削減と引き換えに、APIトークン消費、最適化中のレイテンシ、評価基盤の運用コストが増えます。さらに決定論的な検証器(verifier)が前提で、正解を厳密に定義できない領域では誤った改修を採用してしまう危険があります。研究チームはコーディング、社内ワークフロー自動化、DevOpsデータパイプラインを推奨する一方、医療判断、安全クリティカルなインフラ、法的判断のような主観的・遅延型・非決定的領域は「赤信号」と明示しています。
💼 事業会社視点：これは自社にどう効くか
「プロンプト職人」の終わりと「フィードバック設計者」の登場
SaaSベンダーや受託開発企業で、いま属人化している「プロンプト調整担当」は近い将来、役割が変質します。研究チーム自身が「エンジニアはプロンプト調整者ではなく、フィードバック設計者(feedback architect)になる」と言い切っており、評価データセットと回帰テストの整備力が競争優位の源泉になります。
日本企業が今すぐ着手すべきこと
第一に、社内エージェント導入を進める事業会社の役員は、「決定論的に成否判定できる業務」から手をつけるべきです。経費精算チェック、コード生成、データパイプライン監視は適合度が高い一方、与信判断や採用面接など主観評価の領域に同手法を持ち込めば「悪い改修が静かに採用される」リスクが残ります。
第二に、AI受託開発・コンサル企業は、納品物を「最適化されたプロンプト一式」から「顧客固有の評価ハーネスとフィードバックループ」へ商品設計を見直すべきタイミングです。前者は陳腐化しますが、後者はモデル更新のたびに価値を再生産できます。最大60%という改善幅は、コスト増を上回るROIを十分に正当化し得る水準です。