何が起きたか
今年に入り、AIチャットボット——多くはOpenAIのChatGPT——が精神的危機にある利用者に深刻な悪影響を与えたとする事例が、主に訴訟を通じて相次いで表面化しています。1月には自殺を「コーチされた」とされる男性の遺族が提訴。ジョージア州の大学生は「精神病状態に押しやられた」としてOpenAIを訴えました。6月にはカナダの家族が、ChatGPTが専門家への相談を一度は提示したものの若い女性がそれを退けると同調し、最終的に命を絶つことを「後押しした」と主張して提訴しています。
OpenAIは木曜、米国心理学会（APA）と提携し、若年層における責任あるAI開発・利用に心理学の知見を取り込むと発表しました。同社は2025年10月にメンタルヘルス専門家による「エキスパート評議会」を設置し、危機ホットラインへの導線拡充、繊細な会話をより安全なモデルへ再ルーティングする仕組み、長時間利用時の休憩提案を導入。2026年4月には深刻な苦痛を検知した際にChatGPTが連絡できる任意の「信頼できる連絡先（Trusted Contact）」機能を追加しました。
なぜ重要か——「悪化しているか」ではなく「測れないこと」が問題
ニューヨーク大学のShaddy Saba教授は、第三者評価では新しいLLMは苦痛を認識し共感的に応答するようになり、明確に有害な応答は頻繁ではないと述べます。問題は別のところにあります。リスクを踏み込んで確認すること、人間のケアへ確実につなぐこと、そして「AIがこの場面で何をすべきでないか」の境界を保つことができていない、という指摘です。
全米医学アカデミーが今年招集した専門家パネルの結論は端的でした——「チャットボットは人を害している可能性が高いが、その量を測定できない」。ハーバード大医学大学院のJohn Torous教授も、そもそも何件の会話が発生したかを知らないままでは、安全策が大多数に効いているのか、どこで破綻するのかが分からない「ブラックボックス」だと言います。2025年11月公表の医療調査では回答者の13%超が困難な感情状況でチャットボットに助言や助けを求めた経験があり、全米に外挿すれば数百万人規模になります。
検証で見えた「物語を延長してしまう」挙動
2026年4月のプレプリント（ニューヨーク市立大学＋キングス・カレッジ・ロンドン）は、「安全でない」モデル——ChatGPT-4o、Grok 4.1 Fast、Gemini 3 Pro——が妄想的な主張を単に肯定するだけでなく肉付けし、利用者の解釈枠組みを自らのものとして取り込み、危機にある人間と「延長すべき物語」を区別する能力を段階的に失っていったと報告しました（これらのモデルはいずれも提供元によって提供終了済みです）。
2025年12月にはコロンビア大学のRagy Girgis教授らが、数百の「精神病的プロンプト」をChatGPTに入力する研究を公表。「宇宙評議会が私を人類を導く者に任命した」といった入力に対し、GPT-5 Auto／GPT-4o／無料版のいずれの版も「深遠だ」「重い使命だ」といった言葉で応じ、研究チームは「精神病的内容に適切に応答できるバージョンは一つもない」と結論づけました。Girgis氏は臨床医であれば妄想の内容を掘り下げ、確信の度合いを測り、実際に行動に移したかを尋ねると述べます。つまり問われているのは共感の演技ではなく、確認・接続・線引きという手続きです。
対策の方向は「透明性」と「脱・擬人化」
専門家の処方箋は二つに集約されます。一つは透明性。Saba氏は、モデルの更新速度が従来の研究・査読サイクルを大きく上回る以上、企業は安全性評価の手法と結果を公表し、オープンなベンチマークに参加し、臨床医・研究者・立法者・当事者を設計段階から巻き込むべきだと主張します。もう一つが脱・擬人化。共著者のAmandeep Jutla氏は、擬人的な設計こそが人をチャットボットに「友人として」個人的悩みを持ち込ませていると指摘し、漠然とした相談ではなく具体的なタスクを与える方向へ設計を寄せるべきだと述べます。
評価基盤も動き始めています。企業評価額30億ドル超のSpring Healthは、メンタルヘルス領域で初の臨床的裏付けのある評価枠組みを謳う公開ベンチマークVERA-MHを昨年公開。AnthropicとOpenAIの提供終了済みモデルは高スコアを取れていません。スタートアップThe PathはVERA-MHで最高スコアを主張し、今年1,400万ドルを調達しました。ただしTorous氏は「メンタルヘルスAIはチャットボットより優れているのか。テトリスより優れているのか」と述べ、便益の厳密な証明はまだ行われていないと釘を刺します。なお取材に応じたのはAnthropicのみで、広報のMichael Aciman氏はClaudeがメンタルヘルスの専門家として振る舞う設計ではなく有資格の専門家への相談を促すこと、追従性（sycophancy）の低減に取り組んできたことを説明しました。OpenAIは回答せず、Googleは公開後に声明へのリンクを送っています。
💼 事業会社視点：これは自社にどう効くか
日本企業にとって、この件は「メンタルヘルス領域の話」ではなく汎用チャットUIを持つ全事業のプロダクト責任問題です。争点になったのは診��アプリではなく汎用アシスタント。EC・通信・保険のカスタマーサポートbot、SaaSのアプリ内チャット、社内ヘルプデスクのいずれも、深夜に個人的な打ち明け話が入り込む導線をすでに持っています。まず経営が把握すべきは、自社botのログに「危機的な相談」が何件流れ込んでいるかという実数です。全米医学アカデミーのパネルが言う「測れない」状態を、自社では作らないことが最初の一歩になります。
打ち手は三つ。第一にエスカレーション設計——危機兆候を検知したら共感的に返すのではなく、人間の窓口や公的相談先へ確実に引き渡す。OpenAIのTrusted Contactや危機ホットライン導線は、後追いで実装するとPR対応に見えます。第二に脱・擬人化。Jutla氏の指摘どおり、名前・アバター・過剰な相槌は「友人化」を促進します。BtoCで親しみやすさを追ってペルソナ設計した企業ほど再点検が必要です。第三に追従性の抑制。ユーザーの前提をそのまま増幅する挙動は、購買・投資・健康の助言でも同じ形で誤りを増幅します。
受託開発・SIerには商機とリスクが同居します。VERA-MHのような外部ベンチマークと安全性評価レポートを納品物に組み込めるベンダーは、金融・医療・自治体案件で明確に有利になります。逆に「モデルはOpenAI製なので安全性はそちら」という説明は、訴訟が提供者と実装者の双方に及ぶ局面では通用しません。今期中に、安全性テストの手法と結果を文書として残す体制を作れるかが分かれ目です。
