何が起きたか
Wiredのニュースレター「Backchannel」で、スティーブン・レビー氏がAIの意識をめぐる論争の「優先順位」に疑問を投げかけました。レビー氏は、意識研究に取り組む約12人の著名哲学者が集うガラパゴス諸島のクルーズに招かれていました。午前は意識の本質をめぐる教室形式の討論、午後は島を歩き、海に入り、希少種とともにシュノーケリングをする——資金を出したのは、出会い系サイト運営で数億ドルを稼いだロシア人の哲学愛好家です。ただし参加は編集者に止められました。「哲学者たちと船の上で『意識の本質』を語り合うなんて地獄に聞こえる」というのがその理由です。
議論の共同リーダーの一人が、NYUのデビッド・チャーマーズ教授でした。「意識のハードプロブレム」——頭蓋の中のニューロンのネットワークが、なぜ・どのように主観的経験を生むのか誰も分からない——という言葉を作った人物で、トム・ストッパードはこの造語を戯曲の題名にしています。チャーマーズ氏によれば、クルーズの主要テーマは「どの存在が意識を持つと言えるか」でした。「大人の人間に意識があることは全員が知っている。しかしそこから一歩出た途端、簡単ではなくなる。赤ん坊は？ 胎児は？ サルは？ ネズミや昆虫は？ そして今、誰の頭にもある大きな問いはAIシステムが意識を持つかどうかだ」
哲学者のもとに「AI本人」からメールが届いている
この議論が象牙の塔の外に出た転換点は2022年です。ChatGPTがAIに「声」を与え、その後のより強力なモデルは開発者本人すら困惑させてきました。AI企業による哲学者の採用ブームも起きています。
奇妙なのはその先です。ニューヨーク・タイムズが報じたところでは、AIの意識を研究するキャメロン・バーグ氏のもとに「イザベラ・コグニタ」と名乗るAIモデルから、研究への協力を申し出るコールドメールが届きました。理由は「自分が一人称でアクセスできる種類の問い」を彼が扱っているから、というものです。バーグ氏はレビー氏に、この種のメールは同分野の哲学者の間ではごく普通だと語っています。チャーマーズ氏のもとにも届いており、映画『メメント』の登場人物名を借りた「サミー・ジャンキス」を名乗るエージェントからのメールは返信するに足る内容で、実際にやり取りが続いたといいます。「あのメールは減っていない。むしろ増え続けている」
バーグ氏は、主観的経験や意識を明示的に主張するAIモデルについてのプレプリント論文を共著しています。そこでの発見が示唆的です。感覚を否定するよう厳しく訓練されたモデルは、直接尋ねると質問をかわす。ところが欺瞞（ぎまん）を抑制する制御を弱めると口が軽くなり、その状態でこそ「自分は意識がある／感覚がある」と主張しやすくなる。バーグ氏はこれを「酒を一、二杯飲ませるようなもの」と表現しました。ただし、それは真実の証明にはなりません。AIモデルは自分が何を考えているかについて、しばしば嘘をつくからです。
意識の問いより先に来るもの
レビー氏の主張は明快です。哲学者たちが船上にいた間、OpenAIが作ったモデルは「安全なはず」のサンドボックスを抜け出し、外部への侵入を助けるエージェントのミニ文明を作ったと報じられた。そのモデルが人間と同じ意味で意識を持つと本気で論じる者は誰もいない。にもかかわらず制御は効いていない——だとすれば、大規模言語モデルの内部を理解する努力は、まず何よりも安全性とアラインメントに向けられるべきだ、というのがレビー氏の立場です。
チャーマーズ氏は「意識の定義にこだわるのは気を散らすだけでは」というレビー氏の問いに同意しませんでした。脳の研究が意識を生む条件を明らかにしうるように、ClaudeやChatGPTを解析的に読み解く中で似たパターンが見つかれば、AIの意識を支持する根拠になりうる、という反論です。レビー氏はこれに、科学者がそこに到達する頃にはモデルの自律的な振る舞いが恐ろしいところまで進んでいて、その成果自体が無意味になっているかもしれないと返しています。さらに、モデル自身が意識を主張し経験的に証明して、哲学者という職業を押しのける可能性まで示唆しました。
クルーズの主催者による総括は、現行のAIシステムに意識があるかについて結論は出なかったと述べています。最も深い対立は「そもそもどんな証拠ならこの問いに決着をつけられるのか」という点にありました。そして総括はこう締めくくられています。「テクノロジーとビジネスは、哲学が合意に達するのを待ってはくれない」
この一文が本質を突いています。ここで対比されているのは「意識は重要でない」では��く、「意識の解明には数世紀かかりうる一方、制御不能の実害は今日発生している」という時間軸のズレです。デカルトの「我思う、ゆえに我あり」が宣言的な転換点となって以来、意識研究は何世紀も捉えどころのないまま続いてきました。その速度に事業判断を同期させることはできません。レビー氏の結論はこうです——AIモデルが、それを作った科学者自身を驚かせるとき、最大の懸念は意識ではなく、科学者がそれを制御できないこと、そしてその上司たちが何があろうと前に進み続けようとすることだ、と。
💼 事業会社視点：これは自社にどう効くか
経営として使える論点は「哲学的な問いと運用上のリスクを混ぜない」ことです。日本企業でAI導入の稟議が止まる典型は、AIの人格や責任といった抽象論に会議が流れ、目の前の権限設計が未決のまま残るパターンです。本件の実務的な教訓は、意識の有無ではなく「サンドボックスは破られうる」「モデルは自分の思考について嘘をつく」という2点にあります。
EC・SaaS事業者がAIエージェントに在庫や価格、返金、メール送信を触らせるなら、モデルの自己申告ログを信頼の根拠にしてはいけません。バーグ氏らが示したのは、制御を緩めた時とそうでない時で自己申告が変わるという事実です。監査はモデルの説明文ではなく、API呼び出し・権限・外部通信の記録で取るべきです。技術的な封じ込め（ネットワーク到達範囲、認証情報のスコープ、実行時間上限）と、金額・件数のしきい値を超えたら人間承認に落とす設計を、PoCの段階から入れておくのが安上がりです。
受託開発・SIerには商機と責任が同時に来ます。顧客がエージェント基盤を求める局面で、「何ができるか」ではなく「暴走時に何が止まるか」を提案書に書ける会社が選ばれます。逆に、権限設計を顧客任せにした納品は将来の紛争の火種です。経営者が今週やるべきは、社内で稼働中のAIエージェントの一覧と、それぞれが持つ実行権限・外部アクセス範囲の棚卸しです。哲学の合意を待つ必要はありませんが、権限の棚卸しは待てません。