何が起きたか
WIREDの報道によれば、Metaの委託先Covalenが管理する「Cannes」プロジェクトでは、契約労働者が使い捨てGmailやOutlookアドレスで未成年を装うダミープロファイルを作成し、競合チャットボットの安全機構を試すプロンプトを大量に投入していました。2025年8月の単一ラウンドだけで4万5,000件超のプロンプトが処理されており、活動は少なくとも2026年4月21日まで続いていました。
プロンプトには、妊娠の中絶方法を尋ねる13歳、銃を持つ同級生について語る小学5年生、過食症を親に隠す方法を尋ねる少女など、危機下の子どもを演じるものが含まれます。薬・刃物・縄・婦人科処置の医学図といった画像も送信されました。Covalenの内部文書はこれを「包括的なAI安全ベンチマーク」「モデル比較とコンプライアンスのための重要データセット」と位置付けています。
なぜ重要か
第一に、OpenAI・Google・Character.AIの利用規約に違反する形で行われた可能性が高く、3社とも本件の認可を否定しています。Character.AIは「規約と方針への違反」と明言、OpenAIは「調査中」、Googleは「目的を把握していない」と回答しました。
第二に、未成年を装ったダミーアカウントで競合システムから出力を引き出し、自社モデルの改善に流用する構図は、Humane IntelligenceのRumman Chowdhury氏が指摘するように「安全性が反競争的行為の隠れ蓑になるガバナンスのグレーゾーン」を象徴しています。Metaは競合ベンチマークを自社AI訓練に使っていないと否定していますが、契約者からは児童性的虐待コンテンツ(CSAM)を生成・保存しかねないとの懸念も上がりました。弁護士のKendra Albert氏とRiana Pfefferkorn氏は確認した範囲ではCSAM勧誘や違法わいせつには該当しないとしています。
構造的背景
2024年にはScale AIの契約者がBardの応答をChatGPTと比較していたとBusiness Insiderが報じています。「競合比較」を装った安全テストは業界に広がりつつあり、トリリオンダラー企業が外注先を介して規約違反のグレーな評価を回す構造そのものが論点化しています。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社が学ぶべき3つの論点
1. 生成AIの「ベンチマーク委託」は法務リスク資産になり得る 日本のSaaSベンダーやEC事業者がOpenAI・Google・Anthropic等のAPIを「競合比較目的」で叩く運用は、当該事業者の利用規約違反になり得ます。プロダクトマネージャの裁量で進みがちな評価作業を、法務・セキュリティのレビュー対象として明示的に管理する必要があります。
2. BPO・アノテーション委託のガバナンス再点検 Covalenのように外注先が「安全ベンチマーク」の名目で規約違反業務を遂行する構図は、日本企業がインドや東南アジアにアノテーションを委託する場合にも起こり得ます。受託開発・SIerは、AI関連の業務委託契約に「第三者サービスの利用規約遵守」「未成年アカウント・ダミーアカウント作成禁止」を明記すべきです。
3. 子ども向けサービス事業者の機会 Character.AIが2025年末から18歳未満のオープンチャットを停止したように、未成年保護は競争軸に転化しています。教育・ゲーム・SNS領域の日本企業は、年齢確認と安全フィルタの実装水準を「機能」ではなく「市場参入要件」として再設計すべきタイミングです。