何が問題提起されたか
AI Snake Oilは、AIの存続リスクに関する確率予測を政策判断の根拠とすることに警鐘を鳴らす連載の第1回を公開しました。学術活動や個人の意思決定としての予測自体は否定せず、公共政策の場で「数字」として独り歩きすることへの異議です。
人は定量化された数値を、定性的な評価より「妥当」と感じる認知バイアスを持っています。しかし確率それ自体に権威はなく、政策担当者が市民に説明できなければ、自由民主主義の原則(合理的な人が拒否し得る前提で自由を制限してはならない)に反すると論じています。
三つの推定手法はいずれも機能しない
論文は予測手法を3つに分類します。帰納的推定は過去の参照クラスに依存しますが、AI x-riskには適切な参照クラスがありません。動物の絶滅や産業革命、大量死事故を引き合いに出しても、超知能や制御喪失の可能性を語る根拠にはなりません。自動車事故のリスク推定が過去データで約20%変動しても保険会社には十分ですが、x-riskは桁違いに「事象としての特殊性」が大きいのです。
演繹的推定は世界の信頼できるモデルを必要とします。小天体の観測数千件から大規模衝突を外挿できる小惑星リスクは物理系ゆえに例外であり、技術進歩とガバナンスが絡むAIは数式化が困難です。AGIに必要な計算量を人間の脳と同等と仮定するモデルは、その「脳の計算量」自体が仮定の上に立っています。
主観的確率は予測者の判断に依拠し、桁単位でばらつきます。これは説明の必要性を回避するだけで、帰納・演繹の基盤を不要にするわけではありません。
XPTが露呈させた100倍の溝
2022年後半にForecasting Research Instituteが実施した存続リスク説得トーナメント(XPT)は、これまでで最も精緻な予測演習とされます。AI専門家と予測専門家(スーパーフォーキャスター)が数か月にわたり相互説得を試みましたが、2100年までのAIによる絶滅リスク見積もりはAI専門家が75パーセンタイルで12%・中央値3%、予測専門家は75パーセンタイルで1%・中央値0.38%と乖離。AI専門家の75パーセンタイルと予測専門家の25パーセンタイルでは少なくとも100倍の差が生じました。しかも参加者の根拠は、悪い結果に関する部分でほとんど定量モデルを使っていません。
💼 事業会社視点：これは自社にどう効くか
日本企業の経営層にとっての含意は明確です。AIガバナンス対応を「絶滅確率」のような単一指標で経営判断しないこと。生成AIの業務導入を巡り、海外の安全派が示す「X%の破滅確率」を根拠に投資抑制や内製禁止を決めれば、XPTで露呈した「専門家間100倍の乖離」と同じ不確実性を経営に持ち込むことになります。
SaaSや受託開発企業は、海外のAI規制議論が「オープンモデル公開の制限」など具体コストに直結する局面で、顧客や投資家に対し「自社はどの根拠を採用するか」を説明可能な形で示す責任が増します。EC・小売など事業会社の役員は、AI活用の意思決定をx-riskではなく自社オペレーションで観測可能な指標(誤出力率、顧客クレーム、法令違反リスク)に基づくリスクレジスターへ移すべきです。CTO・CISOは、社外の確率論より社内の運用ログに投資する方が、株主・取引先への説明責任を果たせます。煽りに乗らず、説明できる根拠で動く——これが今期のAIガバナンス方針の軸になります。
