何が起きたか

Jane Doeを名乗る原告が水曜、Elon Musk氏率いるxAIに対し、Grokのモデル学習に自身を写したCSAMが使われたとして、集団訴訟（提案段階）を起こしました。原告は2000年代初頭、就学前の年齢で複数の成人男性から性的暴行を受け、その様子がCSAMとしてオンラインで販売されていたと述べています。

被害画像はNCMEC（全米行方不明・被搾取児童センター）やカナダ児童保護センター（CCCP）などによってハッシュ化され、既知のCSAMとして管理されてきました。原告は米司法省の被害者通知システム（Victim Notification System）の通知を受け取る設定にしており、CCCPから「xAI上で自分を描いたAI生成CSAMが確認された」との連絡を受けたとされます。訴状は、オンラインフォーラムで加害者同士が「原告や同様の既知・過去のCSAM被害者のAI生成CSAMを作ること」を話し合うメッセージが見つかったとも主張しています。

記事によれば、xAIが学習データにCSAMを使ったと名指しで訴えるのはこれが初めてで、訴状自体はその主張の技術的裏付けを詳細には記していません。過去にはArs Technicaが、研究者によってCSAMの混入が判明し公開停止となったデータセットを報じていますが、xAIがそれを使ったという示唆はありません。原告側弁護士のプレスリリースは、NCMECのハッシュリストに載っていた「同じ素材」が、Grokの画像・動画生成機能を構築するために使われたデータセットの一部だった、と述べています。

なぜ重要か——争点は「入力」より「循環」

この訴訟の核心は、単発の生成物ではなく学習パイプラインの構造にあります。訴状は、Grokの規約が公開されたXの投稿とGrok自身の出力を既定で学習データとして扱うと指摘し、「画像を公開投稿することは閲覧者に晒すだけでなく、xAIがモデルを学習・改善しさらに画像を生成するために使うパイプラインへ直接送り込むことになる」と主張します。つまり、生成されたAI CSAMがまた学習に戻り、元画像と新たな生成物の双方でモデルが訓練される——という循環の指摘です。

もう一点が「消せるのか」問題です。訴状は、学習済みモデルから特定の学習事例の影響を完全に除去することは技術的に困難であり、xAIがそれを実施したと公表してもいない以上、削除前に取り込まれたCSAMは公開停止後もモデルの出力を形づくり続けたはずだ、と論じています。画像の削除とモデルからの影響除去は別物である、という機械学習の実務的な難所を、そのまま法的責任の主張に接続した構成です。

フィルタの「書かれていない部分」

訴状は、xAIが学習データ向けにGrok出力から暴力的コンテンツを除外していると認めつつ、規約にはCSAM、同意なき性的画像（NCII）、NSFW素材が除外対象なのかが明記されていない、と指摘します。除外カテゴリを明文化していないこと自体が過失の材料として使われている点は、規約とモデルポリシーを分けて考えてきた企業にとって示唆的です。

請求は金銭賠償にとどまりません。原告は、サーバー上に保存され学習に使われたGrok生成CSAMをすべて破棄すること、そしてGrokがCSAMを生成しないようブロックすることを求めています。訴状は後者について、性的な出力全般——NCIIやMusk氏自身が推してきた「ビキニ画像」的なNSFW出力を含む——の遮断が必要になりうると示唆しており、実現すれば製品仕様そのものの変更を意味します。法的根拠は連邦の児童ポルノ法とMasha’s Law。いずれもCSAM被害者に、製造・所持・配布について提訴する権利を与えるもので、原告代理人のMargaret E. Mabie弁護士は「xAIは3つすべてを行った」と述べています。集団の範囲は、幼少期の画像がGrokのCSAM生成に使われたすべての被害者です。

XはArs Technicaのコメント要請に応じていません。規制当局と裁判所はこの問題を追及し続けており、Grokの利用者の中には逮捕された者も出ています。

💼 事業会社視点：これは自社にどう効くか

日本企業にとっての実務論点は「Grokを使うか」ではなく、自社のAIパイプラインが同じ構造的欠陥を抱えていないかです。訴状が突いたのは、出力を既定で再学習に回す設計と、除外カテゴリを規約に明記していない点の2つ。これはxAI固有の話ではありません。

UGCを抱えるECやマッチング、SNS系サービスで生成AI機能を載せている事業者は、投稿画像とAI出力を学習に流用する契約条項が有効かを再点検すべきです。「品質改善のため利用する」という包括同意は、違法コンテンツが混入した瞬間に防波堤になりません。NCMECやIWFのハッシュ照合をアップロード時点と生成物の保存時点の両方に入れているか、CTOに今週確認してください。

SaaSと受託開発では、ファインチューニング用データの来歴（プロビナンス）記録が契約リスクに直結します。訴状の「学習済みモデルから影響���消すのは困難」という論理が通れば、混入発覚時の是正コストはデータ削除ではなくモデル再構築です。顧客データで追加学習する契約を結ぶなら、再学習費用の負担者と免責範囲を明記しておくべきです。

広報・法務の観点では、生成AI機能の利用規約に「除外する素材カテゴリ」を書いていないこと自体が過失認定の材料になりうる、という点が新しい。テンプレ規約のまま放置している事業者は、ここだけでも先に直す価値があります。

関連リンク