何が起きたか

VentureBeatのゲスト寄稿として、リードAI/MLエンジニアのVineet Vijay氏が、過去1年間にわたり規制のある企業環境でRAG（検索拡張生成）ベースの分類システムを構築してきた知見を公開しました。主張はシンプルで、LLMを「最前線」ではなく「エスカレーション先」に置き換えるというものです。

提案されるのは3段階のパイプラインです。第1段は決定的処理で、完全一致、構造化フィールドの比較、明確なルールで判定できるものをモデル呼び出しゼロで処理します。これは推論ではなくルックアップなので、判断根拠がそのまま説明可能になります。データ品質にもよるものの、この段階で全体の過半数がさばけるとされます。第2段は検索で、曖昧さの原因に直接関係する証拠——類似ケースにおける過去の審査員の判断、矛盾に見える事象を説明する文脈文書、エッジケースを明確にする先例——を引いてきます。第3段でようやくLLMが登場し、第1段・第2段で解けなかった「残りかす」だけを見ます。同氏はこの切り分けこそがコストと品質の両方に効く最大のレバーだと位置づけています。

実際に手掛けたシステムでは、真に曖昧な10〜15%のみをLLMに回すことで、全件LLMのベースライン比で推論コストが約6分の1になり、同時に決定的に処理できる大多数の一貫性は事実上完全なものになったといいます。

なぜ重要か

全件LLM方式はデモでは動きますが、監査・規制当局・コンプライアンスの視線には耐えません。同氏は「モデルが検索された文脈に基づいて判断しました」という説明は許容されないと明言します。半年前の判断について問われたとき、人間が推論を再実行せずに判断経路を再構成できなければならないからです。加えて、コストとレイテンシが処理量に比例して増える問題、そして本来は簡単なはずのケースでLLMが検知しづらい形で揺らぐドリフトの問題があります。1日あたり数万件規模になると、この3点はいずれも運用上の致命傷になり得ます。

プロンプトと評価の設計

高リスク分類では「このケースを承認すべきか、フラグを立てるべきか判断せよ」といった中立的なプロンプトは誤りだと同氏は指摘します。誤りのコストが非対称だからです。見逃しは実害を生む一方、過剰なフラグは審査員の時間と遅延で済みます。そこで、不確かさを「クリアする理由」ではなく「エスカレーションする理由」として扱うよう指示し、両方の誤りタイプについて結果まで書き下した較正例を与え、二値ではなく確信度スコアを併せて出させます。この確信度が第2のカスケード地点となり、閾値を下回れば分類結果に関わらず人間の審査に回ります。

評価設計も通常のRAGとは変える必要があります。検索品質と最終的な分類精度は別々に追跡する——検索ランキングが良くても、生成が証拠の重みづけを誤れば判断は間違うためです。評価セットは本番の分布をそのまま写すと決定的ケースに埋め尽くされ、最も重要な失敗が見えなくなるため、第3段のケースを意図的に過剰サンプリングします。LLM-as-judgeを使う場合も、判定側のプロンプトに本番と同じ非対称リスクの枠組みを埋め込まないと、チューニングの過程で系統的に誤ったトレードオフを選んでしまいます。さらに、人間の審査員がモデルの判断を覆した場合、そのケースと正しい結論を検索コーパスに戻し、以後の類似ケースで参照できるようにするフィードバックループを回します。

点をつなぐと何が見えるか

この記事の骨子は、コスト削減テクニックの紹介ではありません。「どうすればモデルにうまく処理させられるか」ではなく「この判断のどの部分は、そもそもモデルの仕事であってはならなかったのか」を、プロンプトを1行書く前に問え、という設計順序の転換です。カスケード構成はLLMの限界を回避する応急処置ではなく、成熟したRAGシステムが自然に取る形だ——というのが同氏の結論です。

💼 事業会社視点：これは自社にどう効くか

日本企業への含意は、AI予算の議論を「どのモデルを使うか」から「どこにモデルを使わないか」へ移すべきだという点にあります。金融・保険・医療・人材といった規制業種では、審査・不正検知・与信・適格性判定などの分類業務が既にルールベースで回っており、そこへ全件LLMを被せる提案が横行しています。第1段の決定的処理で過半、LLM投入は10〜15%という配分は、既存ルール資産が最大の競争優位になることを意味します。役員が問うべきは「精度は何%か」ではなく「監査時に推論を再実行せずに判断経路を再現できるか」「確信度の閾値と人間審査の運用は誰が持つか」の2点です。

SaaS・ECでは、不正注文審査や出品審査のように1日数万件規模の判定が効いてきます。ここでは推論コストが約6分の1になる差がそのまま粗利に乗るため、カスケード設計はエンジニアリング課題ではなく単価戦略の問題です。受託開発・SIerにとっては、PoCで全件LLMを組んで単価を積む売り方が監査要件で否認されるリスクが高まる一方、決定的ロジックの棚卸しと検索コーパス設計、非��称リスクを織り込んだ評価セット構築という、日本企業の業務知識が要る工程が新たな収益源になります。人間が覆した判断を検索コーパスへ戻す運用は、審査員のノウハウを資産化する仕組みでもあり、属人化に悩む現場ほど先に着手する価値があります。