何が起きたのか
WIREDがLiberty Investigates、Bristol Cable、Lighthouse Reportsと共同で公文書を分析した結果、英国アボン・サマセット警察とブリストル市議会が2015年以降、住民の機微情報を統合し、機械学習で「脅威・危害・リスクの全体像」を可視化しようとしてきた実態が明らかになりました。Think Familyデータベースには警察の情報報告、住宅状況、メンタルヘルス記録、十代の妊娠、養育講座への参加、無料給食受給歴などが格納されていました。
警察は窃盗、出廷拒否、行方不明、家庭内暴力の被害化など、少なくとも23のモデルを開発。約30万人を対象とする「Offender Management App」は、ある幹部によって地域の「リーグテーブル」と呼ばれていました。
なぜ重要か
第一に、住民は同意を求められませんでした。チームは「法的ゲートウェイ」を根拠とし、後にカウンシルタックスの通知書にオプトアウトが追加されたにすぎません。地元の警察監視団体を率いるJohn Pegram氏が自身のアプリ登録を知ったのは2023年、確認できたのは弁護士を雇った2024年でした。
第二に、性能の問題です。開示された3万6000件超のモデル性能スコアを独立アナリストが分析したところ、一部は「真に乏しい予測性能」だったとされ、少なくとも2モデルは市議会職員が「信頼できない」と判断して密かに廃止されました。
構造的な論点
2018年にはカーディフ大学Data Justice Labが、用いられる変数が「貧困の代理指標」になりうると指摘。CSE(児童性的搾取)モデルは「要支援」指定や不登校、メンタルヘルスの懸念をスコア加算要因とし、2019年導入の児童犯罪搾取モデルは家賃滞納や無料給食データを参照していました。社会的に脆弱な層ほど高リスク判定される構造です。
元署長Andy Marsh氏は現在、警察大学(College of Policing)で運用中の約100のAIツールを精査しています。Kent警察は米PredPolとの契約を「効果立証が困難」として解除、Durham警察も社会人口統計データの使用で批判を浴びました。「機能の漸進的拡大(function creep)」が英国警察全体の課題として浮上しています。
💼 事業会社視点：これは自社にどう効くか
日本企業にとっても他人事ではありません。第一に、人事・与信・保険のSaaSや受託AI開発を行う事業者は、英国の事例が示す「目的外の漸進的拡大(function creep)」と「貧困の代理変数」問題を、設計時点でガバナンスに織り込む必要があります。住所、家族構成、奨学金履歴などの変数が、知らぬ間に差別的アウトプットを生む構造を、PoC段階で潰せる体制が競争力になります。
第二に、自治体DX案件を受託するSIerやコンサルは、要件定義書に「同意取得スキームの設計」「精度未達時の廃止プロセス」「住民への説明責任」を明文化すべきです。英国では「法的ゲートウェイ」依存が炎上の火種となりました。日本の個人情報保護法・条例の枠内でも、説明可能性の欠如は後の集団訴訟リスクに直結します。
第三に、EC・金融・ヘルスケアの経営者は、自社の不正検知や離反予測モデルについて「廃止基準」を持っているかを直ちに点検すべきです。3万6000件超のスコアの一部が「予測性能が真に乏しい」状態で運用され続けた事実は、KPI未達モデルを放置するガバナンス不在の典型例です。モデル監査委員会の設置と、四半期ごとの性能レビューを制度化することが、レピュテーション防衛の最低ラインになります。