何が起きたか
ETHチューリッヒ、New Economic School、インペリアル・カレッジ・ロンドンの研究者が、パキスタン司法当局と組んで大規模なランダム化フィールド実験を実施しました。対象は118法廷の判事1,559人。これはパキスタンの第一審判事のおよそ半数にあたります。
使われたのはOpenAIのGPT-4を基盤にした「JudgeGPT」。RAG（検索拡張生成）で、12万8,292件の判例と943のパキスタン法令を含む12万9,235件の文書データベースを検索し、判事の問い合わせに対して最も関連する10の一節を選び、出典付きの回答を生成します。
判事は3群に分けられました。(1) JudgeGPT＋集中研修、(2) 同じAIアクセス＋技術と法に関する一般セミナーのみ、(3) セミナーのみでAIなしの対照群です。集中研修は、ELiott Ash教授が閉廷後に3週間で行った90分×6回の講義で、「どの作業にツールが向くか」「限界」「出力の検証方法」を扱いました。
なぜ重要か
結果の核心は「ACアクセスだけではほとんど効果がなかった」点にあります。集中研修を受けた判事は、一般セミナー群の4倍もJudgeGPTを使いました。40週後、訓練群は約60回ログイン・200超のプロンプトを記録した一方、比較群は約20回・50未満にとどまりました。
利用の中身も違いました。訓練群はテキスト編集や要約に多く使い、ハルシネーション（誤生成）リスクの高い広範な法律質問は減りました。AIに判断そのものを委ねる「実質的なAI委任」は全リクエストの約5分の1にすぎません。
品質は落ちたのか
約4,000件の判決を精査すると、AI由来とみられるテキストは増えたものの、可読性・長さ・法的論点の数は横ばい。2人のパキスタン人弁護士が検証したLLMによる品質評価では、訓練群の判決が対比較で59%「より良い」と評価され、対照群の42%を上回りました。ジェンダーや宗教に関する言語的バイアスの増加を示す証拠はありませんでした。
💼 事業会社視点：これは自社にどう効くか
この実験の教訓は「AIツールの導入だけでは動かない」という一点に尽きます。日本のSaaSや受託開発、社内DX推進の現場で、生成AIを配っただけで使われず終わる例は多いはずです。効果を分けたのは6回・90分の集中研修——しかも「どの作業に向くか・限界・出力の検証法」という運用に絞った内容でした。経営者が投じるべきは、ライセンス費より「使い方を右のタスクへ誘導する訓練」です。訓練群は編集・要約に使い、誤答リスクの高い広範な質問を自ら避けました。ここは、業務規程やRAGの設計思想に落とし込める実践知です。ROIは推計38.50ドル/ドル、保守的にも10ドル/ドル。EC運営や士業、コールセンターなど「文書処理量」がKPIの事業ほど、GPT-4という旧世代モデルでこの水準が出た事実は重い。研究者いわく、今の推論モデルなら数字は「下限」。導入判断の軸を「ツール選定」から「訓練とタスク設計」へ移すべき局面です。