何が起きたか
バークレーのBAIRが、機械学習モデルの解釈性研究における新手法「SPEX(Spectral Explainer)」と派生版「ProxySPEX」を公開しました。両手法はSHAP-IQリポジトリに統合され、GitHubで利用可能です。SPEXはICML 2025、ProxySPEXはNeurIPS 2025で発表されています。
従来のSHAPやLIMEといった特徴帰属手法は、特徴の数が増えると組み合わせ爆発で破綻していました。SPEXは信号処理と符号理論を応用し、「影響を持つ相互作用は少数で、関わる特徴も少ない」という構造的仮定(スパース性と低次性)を使って、桁違いに大きなスケールで影響度の高い相互作用を抽出します。ProxySPEXは「高次の相互作用が重要なら、その部分集合も重要」という階層性を加え、SPEXと同等の精度を約10分の1のablation(構成要素を取り除いて影響を測る操作)で実現しました。
なぜ重要か
注目すべきは検証結果です。改変版トロッコ問題でGPT-4o miniの正答率はわずか8%。従来のSHAP分析では「trolley」という単語が主要因とされていましたが、tramやstreetcarに置き換えても挙動はほとんど変わりませんでした。
SPEXは、2回出現する「trolley」と「pulling」「lever」という4単語の高次の相乗効果が誤答を引き起こしていることを発見。これら4語を同義語に置き換えるだけで失敗率はほぼゼロになりました。単独の単語ではなく「組み合わせ」がLLMの判断を歪めるという、従来手法では見えなかった構造が初めて可視化されたわけです。
実用領域への展開
ProxySPEXはCIFAR-10のResNet画像分類で、決定境界を形成する「相乗的相互作用」と概念を補強する「冗長的相互作用」を分離しました。さらにMMLUの米国史タスクでは、ProxySPEXに基づくアテンションヘッド剪定が他手法を上回り、対象タスクの性能を改善。前半層は線形的、後半層は同一層内ヘッド間の相互作用が支配的、という深さごとの構造も明らかになっています。
💼 事業会社視点：これは自社にどう効くか
役員視点での示唆
LLMを業務に組み込む日本企業、特にカスタマーサポートや契約書レビュー、与信判断にLLMを使うSaaS事業者と受託開発各社にとって、この研究は「プロンプト品質保証」の概念を一段押し上げます。
これまでのプロンプト改善は「単語を言い換える」「Few-shotを足す」という職人芸でした。しかしSPEXが示したのは、個別の単語ではなく特定の単語の組み合わせがモデルの誤答を引き起こすという事実です。GPT-4o miniのトロッコ問題で正答率が8%まで落ちる原因は、単一の問題語ではなく4単語の相乗効果でした。
金融・医療・法務など誤答コストが高い領域でLLMを運用するなら、「どのプロンプトパターンが品質劣化を誘発するか」を体系的に検知する仕組みが今後求められます。事業責任者は次の3点を確認すべきです。第一に、自社プロンプトのレッドチーミングが単語単位で止まっていないか。第二に、SHAP-IQのようなOSS解釈性ツールを評価フローに組み込めるか。第三に、アテンションヘッド剪定で軽量化・特化したモデルを自社用途で持つ選択肢。汎用APIに丸投げする時代から、内部構造を理解して使い倒す時代への分岐点です。