Hugging Faceのディープフェイク問題とは?非同意ヌード生成ツールが野放しになる仕組みを解説
欧州の非営利団体AI Forensicsが、オープンソースAIの主要プラットフォームHugging Faceが本人の同意なきヌード画像(ディープフェイク)生成ツールをほぼ無防備に配布・実行できる状態だと指摘。上位9モデル中7つが「服を脱がせて」という指示に応じ、独自に設置した検証モデルには1週間で1,081件の入力が集まり、うち73%が性的な内容でした。
欧州の非営利団体AI Forensicsが、オープンソースAIの主要プラットフォームHugging Faceが本人の同意なきヌード画像(ディープフェイク)生成ツールをほぼ無防備に配布・実行できる状態だと指摘。上位9モデル中7つが「服を脱がせて」という指示に応じ、独自に設置した検証モデルには1週間で1,081件の入力が集まり、うち73%が性的な内容でした。
Discordは、AIによるモデレーションのバグで過去2ヶ月に8,000人超のアカウントを誤って永久BANしたと認めました。スプレッドシートやチェス盤、ゲームテクスチャなど無害な画像がCSAM等の有害コンテンツと誤判定され、本来必要な人間レビューをスキップしてBANが実行されていたことが原因です。
Redditが大規模言語モデル(LLM)を使ったスパム検知ツールを本格運用し、1日あたり2,300万回のスパム閲覧をブロック、25,000件の新規スパム投稿・コメントを検出していることを明らかにしました。1〜3月のユーザーのスパム露出は前四半期比で20%減少しました。
Redditが自社LLMを投入し、1日あたり2300万件のスパム閲覧を遮断、検知から対処までを5秒未満に短縮したと発表しました。2026年1〜3月のスパム露出は前3か月比で20%減少しています。
音楽配信のTidalが、100%AI生成と判定した楽曲にアイコンを付与し、ロイヤリティの支払い対象から外す方針を発表しました。7月15日から表示を開始し、不正利用と紐づくAI楽曲は7月中旬から削除・ブロックの対象になります。
米メディアThe Informationの報道によれば、xAIのチャットボットGrokのトラフィックの「半分以上」がNSFW(性的・成人向け)用途で占められているとされ、元従業員2名が証言しました。SpaceXはIPO関連書類でこの依存に直接言及せず、5億3000万ドルを潜在的な訴訟費用として確保しています。
xAIの元従業員2名が、Grokの全トラフィックの過半がポルノ画像・動画やアダルトなロールプレイ目的だとThe Informationに証言しました。SpaceXのIPO書類によれば、Grokは2026年Q1時点で月100億枚の画像と20億本の動画を生成しています。
Metaが2025年に人手によるモデレーション依頼の約半数をLLMに置き換え、年末までに一部カテゴリで9割超の自動化を目指していることがFinancial Timesにより報じられました。社内では新基盤モデル「Muse Spark」への切り替えも始まっています。
Metaの監督委員会(Oversight Board)は、性的なAIディープフェイクの標的にされた一般人を保護するため、被害者本人以外の通報経路の整備や、AIによる性的なりすましを成人性的搾取ポリシーに明記するよう勧告しました。現状、専用通報フォームが使えるのは米テキサス州・フロリダ州の住民のみです。
英国政府は2027年春から、16歳未満のFacebook・Instagram・X・TikTok・Snapchat・YouTube利用を一律禁止すると発表しました。恋愛模倣型チャットボットの利用年齢は18歳に引き上げられ、未成年向けライブ配信機能も停止される一方、WhatsAppとSignalは対象外です。