何が起きたか

DiscordのAIモデレーションが5月以降、無害な画像を有害コンテンツとして誤検知し、8,000人超を永久BANしていました。7月上旬の週末だけでさらに200人が巻き込まれ、その後バグが特定・修正されたと同社は説明しています。対象アカウントは順次復旧中です。

誤検知されたのは、スプレッドシート、チェス盤、ゲームの内部テクスチャ、白や灰色の透明背景画像など。ゲームディレクターを名乗るユーザーは、自作ゲームのテクスチャがCSAM（児童性的搾取コンテンツ）として検出され凍結されたとXで訴えています。

なぜ「格子模様」で誤爆したのか

Discordの自動安全システムは、既知の有害コンテンツのデータベースと画像を照合する「類似性マッチング」で動きます。同社は「類似性マッチングは偽陽性を生み得るため、Trust & Safetyチームの人間が必ず確認してから措置する」と説明していますが、今回はそのレビュー工程を飛ばして即時BANされるバグが発生していました。

X・Reddit上では、正方形のグリッド模様を含む画像で凍結された報告が相次いでいます。ユーザー間では、NSFWやCSAMを自動検出から隠す手口として格子パターンが悪用されてきた経緯から、AIがこの模様に過剰反応するようチューニングされたのではないか、との見立ても出ています。

単発事象ではない

昨年はInstagramやFacebook GroupsでもAIモデレーションが原因と目される大量凍結が起きましたが、Metaは公式には認めていません。Tumblrでも説明のない一斉凍結が問題化しました。Metaの監督委員会（Oversight Board）は透明性向上を求めており、プラットフォーマーのAI審査に対する不信は着実に積み上がっています。

💼 事業会社視点：これは自社にどう効くか

事業会社が読むべきポイント

第一に、業務コミュニケーションをDiscordに集約している企業は代替経路を持て。国内ゲーム会社・Web3プロジェクト・オンラインコミュニティ運営SaaS・海外パートナーとやり取りする受託開発など、Discordを事実上の業務チャットにしている組織は少なくありません。今回のように「復旧まで音信不通」となれば、開発進行・顧客対応が停止します。SlackやSignal等の副回線と、社外向け連絡先の分散管理は最低限の備えです。

第二に、自社SaaSでAIモデレーションを組み込む事業責任者への警鐘です。EC・UGC・マッチング系のプロダクトを持つ経営者は、「AIで自動化→人間レビューで担保」という設計が、コードのバグ一つで人間レビューをスキップし全ユーザーを即時BANし得る構造だと認識すべきです。フェイルセーフとして「重大措置は必ずキュー経由・人間承認必須」を切り離せるアーキテクチャに設計してください。

第三に、永久BANという不可逆措置は、SLA・利用規約・救済プロセスの整備が売上を守るということ。誤BANの復旧速度と説明責任が、B2C事業の解約率と口コミ評価を左右します。