何が起きたか
第1実験では1,682人が6本の短編のうち1本を読みました。3本は著名な文芸誌や短編集からの人間の作品、残る3本はその作品のテーマ・文体・語りの視点をもとにしたプロンプトでChatGPT 4.0に生成させたものです。参加者の半数には「人間が書いた」、半数には「ChatGPTが書いた」と伝えましたが、その表示が正しいのは各グループの半分だけでした。
結果は二重構造でした。マイナス3からプラス3の評価尺度で、AI作品は品質1.54、没入感1.42と、人間作品の0.97・1.00を有意に上回りました。ところが同じ作品でも「人間が書いた」と伝えられた条件では点数が上がる。つまり読者は、実際にはAIの文章を好みながら、AIという表示そのものを減点材料にしていたことになります。
判別できないのに、態度は割れる
続く2本の実験（計905人）では、人間作品とAI作品を1人が両方読み、どちらがAIかを当てさせました。直接比較という最も有利な条件でも、正答率は偶然と変わりませんでした。興味深いのは何が正答に効いたかで、AIシステムを使った経験の自己申告は正答率と正の相関を示した一方、小説を読んできた経験は判別の助けになっていません。文学の素養ではなく、生成AIの癖に触れた回数が識別力を作っているという構図です。
評価の偏りも一枚岩ではありません。AIに肯定的な参加者は全体に高い点をつけ、「ChatGPT作」と伝えられるとさらに点が上がりました。AIに懐疑的な参加者では逆向きに働きます。同じラベルが、受け手の態度によって加点にも減点にも転ぶわけです。AI生成の詩を扱った先行研究でも同様のバイアスが報告されています。
「高評価」は「文学的に優れている」ではない
著者らはこの結果を、AIが人間を超えたという話には接続していません。AI生成テキストは滑らかで読みやすく、感情のトーンが明るくなりがちで、人は処理しやすいものを好む。高評価はこの処理容易性で説明がつき、文学的な優劣とは別だという整理です。むしろ質の高い文学は意図的に読みにくく作られ、読者に意味を汲み取る労力を要求する。品質が高くても没入させない作品、その逆の作品があり得るという指摘は、「読者スコアが高い＝良い」という評価設計そのものへの疑義でもあります。
約1,000語という短編形式がAIに有利だった可能性も明示されています。数百ページにわたって一貫した物語を運ぶことと、1,000語でまとめることは別の課題です。
実務的な含意が強いのは、昨年10月に公表されたStony Brook大学とColumbia Law Schoolの研究との対比です。単純なプロンプトでは専門読者は人間の文章を明確に好みましたが、個々の作家の文体を学習させたモデルの出力は、文体模倣で8倍、文章の質で2倍の頻度で専門家に選ばれました。素のモデルと、固有のスタイルデータを与えたモデルの間には大きな段差がある。研究者らの結論は、AIは人が人間並みと感じる創作物を生成できるが、人はAIにそれができると信じていない、というものです。データと素材はOpen Science Framework（OSF）で公開されています。
💼 事業会社視点：これは自社にどう効くか
経営判断に直結する論点は3つあります。第一に、コンテンツ品質の社内評価をブラインドで行うこと。制作者名やAI利用の有無を伏せずに比較すれば、評価は中身ではなくラベルで動きます。オウンドメディアやEC商品説明文のA/Bテストを、生成手段を伏せた条件で設計し直すだけで意思決定の精度が変わります。
第二に、AI利用の開示は「顧客セグメント次第で加点にも減点にもなる」変数として扱うべきです。AI肯定層では表示がプラスに、懐疑層ではマイナスに働きました。全社一律の開示ポリシーではなく、BtoB SaaSのナレッジ記事、EC接客文、士業・医療系のように信頼が資産の領域を分けて方針を決める。開示をやめる話ではなく、どこで誰に対して何をどう伝えるかの設計問題です。
第三に、Stony Brook大とColumbia Law Schoolの結果が示す通り、差がつくのはモデルではなくスタイルデータです。受託開発・制作会社や編集部を抱える事業会社にとって、過去原稿・トンマナ・NG表現の資産化が、汎用プロンプト勢との唯一の防壁になります。同時に、1,000語級の短文でAIが強いという事実は、記事量産の外注単価が最初に崩れる領域を名指ししています。人手を残すのは長尺の構成力、取材、責任を負う判断の側です。