何が起きたか
Metaは、10代ユーザーが対話AI「Meta AI」との会話で自傷や自殺を検討している兆候を示した場合、その内容を監督する保護者へ通知する新機能を導入しました。従来Meta AIは、こうした話題が出た際に相談窓口(米国のNational Suicide Prevention Lifelineなど、24時間対応)を案内し、信頼できる大人への相談を促すにとどまっていました。今回はそこから一歩進み、保護者に対して能動的に「お子さんがリスク下にある」と知らせ、対応の助言やリソースを共有します。
機能はまず米国・英国・オーストラリア・カナダでInstagramの保護者監督を使う家庭向けに提供が始まり、年内に世界展開の予定です。数カ月前から保護者は子どものAI会話の「トピック」を確認できていましたが、今回はより踏み込んだ介入となります。
誤検知を避ける設計
注目すべきは運用の設計です。Metaはこうした会話を特定する専用のAIシステムを構築した上で、通知の前に必ず人間がフラグ付けされた会話をレビューします。不要なパニックを避けるためで、逆に意図が曖昧なケースでは「安全側に倒して」通知を送る方針です。AIによる検知と人手による確認を組み合わせ、精度と過剰反応のバランスを取ろうとしています。
大人にも及ぶ範囲
Metaは未成年に限らず、成人を含めユーザーの会話が切迫した自殺リスクを示す場合に緊急機関へ連絡する機能も開発中です。あわせて、Instagramの「Limited Content(制限付きコンテンツ)」設定がMeta AIとのやり取りにも適用され、有効化すると自傷などのセンシティブな話題が制限されます。
この動きはMeta単独ではありません。OpenAIは5月、ChatGPTに「Trusted Contact」を導入し、リスク時に連絡してほしい友人を利用者自身が指名できるようにしました。プラットフォーム各社が、規制当局と保護者に「AIは安全だ」と示す競争に入っています。
💼 事業会社視点：これは自社にどう効くか
このニュースの本質は「対話AIの安全対策が、事業者にとってコストではなく信頼の前提条件になった」という点です。日本でも自社サービスにチャットボットや生成AIを組み込むEC・SaaS・受託開発の各社にとって、対岸の火事ではありません。
Metaが「専用検知AI＋人手レビュー＋緊急連絡」という三段構えを敷いたことは、単なるNGワードフィルタでは不十分だという実務基準を示しています。BtoCでAIを提供する事業者は、メンタルヘルスや自傷に関する会話をどう検知・エスカレーションするかの運用フローと、保護者・緊急機関への連携ポリシーを、リリース前に設計しておく必要があります。特に未成年が触れうるサービス(教育、ゲーム、SNS連携)では必須の論点です。
経営者が今すぐ動くべきは、(1)自社AIの会話ログをリスク観点で監査できる体制の有無を確認する、(2)人間レビューを含む対応フローの責任者を決める、(3)プライバシー(保護者通知と本人の同意)と安全のトレードオフを法務と詰める、の三点です。海外大手の実装は、いずれ日本の規制やユーザー期待の事実上の標準になります。後追いより先回りが、信頼とブランドを守る投資になります。