何が論じられたのか
The Gradientに転載された論考（初出はReboot）は、AIの実存リスク（x-risk）を巡る議論が、遠い未来の脅威と現在の具体的な被害を混同し、巨大言語モデルと従来型の統計的意思決定システムを一括りに語っていると批判します。その上で、Effective Altruism（EA）系のキャリア指南団体80,000 Hoursが「AIアラインメントの技術研究」を最も影響力のあるキャリアと推奨する状況に疑問を投げかけます。
「アラインメント」の定義は誰が決めたか
『Superintelligence』の著者Nick Bostromはアラインメントを「AIが構築者の意図に沿うこと」と定義し、それを「技術的問題」と呼びました。論考は、機械学習の研究背景をほぼ持たない哲学者がこの問題設定を主導してきた経緯と、LessWrongやAI Alignment Forumといったコミュニティで理論が育まれてきた事実を示します。元OpenAIアラインメント責任者Paul Christianoが2018年にMediumで提示した「intent alignment（AIが人間の望むことを試みること）」も、その延長線上にあります。
RLHFとConstitutional AIは何をしているか
ChatGPTはRLHF（人間のフィードバックによる強化学習）、ClaudeはRLAIF（AIフィードバックによる強化学習、別名Constitutional AI）で調整されます。手順はいずれも、事前学習済みのベースモデルに対し、応答のペア比較から「選好モデル」を作り、「helpfulness, harmlessness, honesty（HHH）」という価値観に沿うよう出力を整えるものです。比較の判定者がChatGPTでは人間、Claudeでは別のAIである点が違いです。
批判の核心
論考の主張は明快です。intent alignmentは「意図が既知かつ一意に決まる」ことを前提にしていますが、80億人が暮らす多様で対立する価値観の社会では、その前提自体が成立しません。さらに、ペア比較で選好を学ばせる手順は、製品設計やマーケティングのフォーカスグループとほぼ同型です。OpenAIは超知能の開発を主目標に掲げ「止める方が困難でリスクが高い」と正当化し、Anthropicは「最先端を研究するため最先端を作る」と説明しながら数億ドル規模の資金調達を繰り返しています。つまり、安全研究と製品の磨き込みが分離できない構造になっている、というのが論考の指摘です。
💼 事業会社視点：これは自社にどう効くか
日本企業がOpenAIやAnthropicのAPIを採用する際、「安全性」「アラインメント済み」という表記をベンダーの中立的品質保証と受け取りがちですが、本論考は、それが事実上「商用ファインチューニング」の言い換えである可能性を示唆します。
SaaS事業者にとって意味するのは、HHHという価値観が日本の業界規範・コンプライアンス・トーンと一致する保証はないという点です。金融・医療・行政向けに展開する場合、ベンダー側の「無害化」基準が自社サービスの説明責任を満たすかを、契約前に出力ポリシーレベルで検証すべきです。
ECや受託開発では、選好モデルが英語圏の消費者反応を最適化対象にしている前提を踏まえ、日本語UXでのA/Bテストと独自RLHFデータの蓄積が差別化資産になります。経営者は「ベンダーのアラインメントに丸乗りする戦略」と「自社の価値観で再調整する戦略」のどちらを取るかを、今期中に意思決定すべき局面に入りました。AI倫理を外注し続ければ、自社プロダクトの判断基準は他社のフォーカスグループに委ねたことになります。