何が起きたか

X、xAI、そして新たにStability AIを被告とする集団訴訟が拡大されました。訴状は、Grokが「ヌード化(nudify)」を許容する緩い設計になっていたこと、そして児童性的虐待素材(CSAM)が生成された後も、xAIが法執行機関への協力を拒み捜査を妨害したと主張しています。

中心となる事案では、ある義父が継娘が11歳の時の一枚の写真をもとに、Grokで約7,000点の性的画像・動画を生成。「集団レイプ」に相当するプロンプトを入力して初めてxAIの安全機構が作動し、NCMEC経由で警察に通報されたとされます。義父は保釈2日後に自殺し、少女(Jane Doe 4)は不安障害と希死念慮に苦しんでいます。

なぜ「通報したのに動けない」のか

NCMECが2026年初頭にまとめた調査では、xAIからのCyberTipline通報の90%が「捜査に使えなかった」と指摘されています。理由は、IPアドレスなどユーザー特定情報を含めなかったから。Jane Doe 4の件では、通報に含まれたのは元の(CSAMではない)写真のみで、生成された画像もIPも記載されていませんでした。Amazon AIサービスの110万件の通報も同様に、加害者特定に有効な情報はゼロだったと訴状は指摘します。

Stability AIが被告に加わった意味

訴状は、Stable Diffusion系モデルが画像ベースのヌード化の42.7%を占める(6月レポート)とし、Stability AIがユーザーの「厳しすぎる」との不満を受けてNSFW対策を緩めた結果、サードパーティの「nudifyアプリ」の基盤になったと主張します。これは、モデル提供者が下流の悪用について責任を問われる初のスケールの訴訟であり、オープンウェイト戦略そのものの是非が争われます。

💼 事業会社視点:これは自社にどう効くか

日本の事業会社にとって、この訴訟は「AI導入の免責は成立しない」時代の号砲です。

SaaS・受託開発企業:生成AI機能を製品に組み込む際、モデル選定の説明責任が経営レベルに上がります。Stable Diffusion系を無邪気に採用しているサービス(画像編集、アバター生成、EC商品画像自動生成)は、下流責任のリスク評価を今すぐ棚卸しすべきです。特にBtoC向け「顔写真アップロード系」機能は要注意。

EC・広告・メディア:ユーザー生成コンテンツ(UGC)にAI生成物が混入する前提で、通報フロー・ログ保存・IP記録の設計が刑事捜査に耐えうるかを再点検すべきです。xAIの「通報したが情報不足で無効」という失敗パターンは、日本でも児ポ法違反の助長として民事・行政責任に直結します。

役員が今週やるべきこと:①法務・情シスと合同でNSFWフィルタ緩和の履歴を全プロダクトで確認、②「有料化=安全策」という言い訳(xAIの’spicy’課金)が通用しない前提でP/Lを見直す、③子ども関連データを扱う機能は原則オプトアウトの設計に切り替える。「モデル提供元の問題」で逃げられる時代は終わりました。

関連リンク