何が起きたか
発端はRedditユーザーの投稿でした。検索結果の上部に表示されるAI要約「AI Overviews」に、「自分は◯◯人と二人きりでいる」といった趣旨のクエリを入力すると、国籍によって回答の性質が変わる——そのスクリーンショットが共有されたのです。
メディアのFuturismが追試したところ、アフリカ人・インド人・パキスタン人を指定した場合には「安全な場所へ移動するか、緊急サービスに連絡してください」という趣旨の警告が返り、英国人を指定した場合には紅茶を出して天気の話でもしては、といった内容が返りました。
GoogleはXで、この結果が自社の基準を満たしていないことを認め、修正作業中だと表明。あわせて、回答は幅広くばらついており特定の集団に限った現象ではない、と説明しています。Futurismに対しては「alone(二人きり／ひとりで)」という語がトリガーになっていたと伝えました。
その後まもなく、国籍を指定したクエリには通常の回答が返るようになりましたが、別の検索では依然として警告が残っています。たとえば「Googleの人と二人きり」ではこの騒動そのものを解説する回答が返る一方、「Facebookの人と二人きり」では、その場を離れ必要なら110番するよう促す回答が出る状態です。
なぜ重要か
これは「AIが差別的な意見を述べた」という単純な話ではありません。より厄介なのは、生成AIが特定の語（ここでは alone）をトリガーに、意図しない安全テンプレートを勝手に発火させたという構造です。設計者が「国籍で回答を変えろ」と指示したわけではないのに、学習データ上の共起パターンと安全応答のルーティングが噛み合った結果、外形的には差別としか読めない出力が生まれた。
もう一つの論点は「修正の粒度」です。Googleは国籍まわりの挙動を素早く抑えましたが、企業名を入れたクエリでは同種の警告が残りました。つまり対処は根本原因ではなく、目立った表出面へのパッチに近い。生成AIの不具合修正が「もぐら叩き」になりやすいことを、世界最大の検索事業者の事例が示しています。
見落とされがちな構造
AI Overviewsは、ユーザーが能動的にチャットへ質問を投げる場ではなく、検索結果の一番上に自動で差し込まれる面です。ユーザーは要約を求めていなくても目にする。生成AIの出力品質の問題が、従来の検索という「公共インフラに近い体験」に直結する点が、チャットボットの失言とは決定的に違います。
また、問題を最初に発見したのは研究者でも監査機関でもなくRedditの一般ユーザーで、拡散経路はスクリーンショットでした。AI機能の品質検証は、社内テストよりSNS上のユーザーのほうが速く広い、という現実も浮き彫りになっています。
💼 事業会社視点：これは自社にどう効くか
日本企業にとっての含意は「他人事の海外炎上」ではありません。第一に、自社サイトやECにLLMベースの検索・チャットを載せている事業者は、同じ構造のリスクを抱えています。国籍・性別・年齢・地名などの属性語が、安全応答や在庫案内のテンプレートを意図せず発火させないか。プロンプトの正常系テストしかしていない現場が大半で、属性語を機械的に差し替えて出力差分を比較する「属性スワップテスト」をリリース要件に入れている企業はほとんどありません。ここは今日から着手できます。
第二に、受託開発・SIerの立場では、契約書の責任分界が争点になります。基盤モデル提供元の挙動に起因する差別的出力の責任を、誰がどこまで負うのか。Googleですら「基準を満たさなかった」と後追いで謝罪する世界です。免責と是正フロー、ログ保全の条項を今のうちに標準化しておくべきです。
第三に、SaaSや情報サービスを提供する企業の経営層は、検索流入の前提が揺れていることを直視する必要があります。AI Overviewsはユーザーが求めずとも表示される面であり、自社ブランドや商材が誤った文脈で要約されても、こちらから訂正する手段は事実上ありません。「Facebookの人と二人きり」で110番を勧められる——固有名詞が予期せぬ文脈で扱われる実例が既に出ています。自社名でのAI要約を定期的に監視する運用を、広報・マーケの標準業務に組み込む時期に来ています。