何が起きたか
ボッコーニ大学の入門マネジメント科目13クラスを4群（対照群／因果推論レッスン／GPT-4oアクセス／両方）にランダム割付し、1年生1,053人に大学の物販ショップ向けマーケティング提案を180語以内で書かせる実験が2025年11月に行われました。採点は群を知らされていない人間の採点者が担当し、因果推論の質やアイデア多様性といった補助指標はOpenAIとAnthropicのモデルで評価されています。
結果は明快でした。GPT-4o群は1〜5の評価尺度で1点近く高いスコアを獲得。回答に含まれるアイデアは平均で約2つ多く、論理的一貫性が高く、3人の専門家が挙げた推奨内容との一致度も高いものでした。論証の質・アイデア数・多様性・文章特性を統制してもGPT-4oの優位は残り、著者らはこれを「学生の知識が増えたから」ではなく「コンテンツの質そのものが高いから」と結論づけています。
逆説的だったのは「思考を教えた群」
因果推論レッスン（一貫した因果ロジック、反証可能性、提案がどう成果につながるか）を受けた群は、従来型スコアが上がらず、平均でわずかに低い評価にとどまりました。しかしこの群は「なぜその施策が効くのか」「どんな条件で失敗しうるか」を説明する頻度が高く、他の学生と重ならない多様なアイデアを出していました。
ここに評価指標の歪みが見えます。相関を見ると、アイデア数が多い・論証が一貫している・1つの回答内で多様な観点があることは高得点につながる一方、反証可能性が強い、施策の作用機序を詳しく説明している、他学生と発想が乖離している、これらはいずれも低い得点と結びついていました。つまりこの課題の採点は、期待される解答空間の内側できれいに構造化された答えを報いる設計だったということです。著者らは、多様性や独創性を評価に反映させたいなら採点基準に明示的に組み込むしかないと述べています。
「成績が上がった」と「学べた」は別物
重要なのは、この研究が示したのが「この課題での採点上のパフォーマンス改善」であって、学習の改善ではない点です。ChatGPTなしで何を理解し保持しているかを測る事後テストは行われておらず、著者ら自身、GPT優位が知識の獲得によるものかAI支援による出力の良さによるものか判別できないと認めています。
他の研究群はより厳しい示唆を与えます。米国の50万件超の大学成績を対象にした調査では、ChatGPT登場後の最高評価の増加が、宿題比重の大きい文章・プログラミング系科目で最も大きく出ました。統制実験では、AIを取り上げた後の参加者は対照群より成績が悪化し、特にGPTから直接答えを得る使い方をしていた層で落ち込みが急でした。中国の26,000人超・30か月の追跡では、宿題は速く良くなったのに試験の点は下がり、長期的には進学試験の結果が18〜24%低いという結果が出ています。ただし、AIを使えるのに宿題時間を非利用者と同程度かけていた学生では、同様の低下は見られませんでした。
なお本研究には、単一大学の1年生・狭いマーケティング課題という制約に加え、1,053人を個人単位ではなく13クラス単位でランダム化した点、そして研究対象の技術を提供するOpenAIが研究に関与し、複数の著者がOpenAI在籍者または在籍経験者であるという利益相反があります。OpenAI自身は結果を主に採点システムへの挑戦として位置づけています。AIが磨き上げられた専門家風の成果物を出せるなら、最終成果物だけでは学生の理解度をほとんど測れない、という論点です。
💼 事業会社視点：これは自社にどう効くか
これは教育の話に見えて、実質は「成果物ベースの人事評価と受入検査が壊れる」という話です。
受託開発・制作会社は最も直接的な影響を受けます。納品物の完成度で品質を測る検収基準は、GPT-4oが「専門家の推奨と一致し、論理一貫性が高い」出力を出せる以上、実装者の理解度をもう保証しません。障害対応や仕様変更の局面で差が出るため、検収に「なぜこの設計か」「どの条件で破綻するか」を問う口頭確認を1本入れるだけで実質的な防御になります。ボッコーニの実験で低評価だった「反証可能性」「失敗条件の説明」こそ、事業では最も価値の高い能力です。
SaaS・EC事業では、企画書やマーケ施策案の量産が容易になった分、社内の意思決定コストが逆に上がります。GPT利用群のアイデアは「多いが、期待される解答空間の内側」でした。競合と同じツールで同じ発想に収束するなら、差別化にはならない。役員は施策レビューの評価軸に「他社と違うか」「外れたときの検証方法があるか」を明示的に加えるべきです。中国の研究が示す通り、AIで浮いた時間を思考に再投資した層だけが劣化を免れています。
新卒採用では、レポート・コーディング課題のスコアは急速に情報量��失います。成果物ではなくプロセスと、選ばなかった選択肢を説明させる形式へ、今期中に切り替える価値があります。