DiscordのAI誤BANはなぜ起きたか？8,000人巻き込んだ「格子模様の誤検知」を解説
Discordは、AIによるモデレーションのバグで過去2ヶ月に8,000人超のアカウントを誤って永久BANしたと認めました。スプレッドシートやチェス盤、ゲームテクスチャなど無害な画像がCSAM等の有害コンテンツと誤判定され、本来必要な人間レビューをスキップしてBANが実行されていたことが原因です。
Discordは、AIによるモデレーションのバグで過去2ヶ月に8,000人超のアカウントを誤って永久BANしたと認めました。スプレッドシートやチェス盤、ゲームテクスチャなど無害な画像がCSAM等の有害コンテンツと誤判定され、本来必要な人間レビューをスキップしてBANが実行されていたことが原因です。