何が公開されたか
ニュースレター「Ahead of AI」が、訓練済みLLMの評価手法をスクラッチ実装つきで解説する記事を公開しました。評価方法は大きく「ベンチマーク型」と「判定型」に二分され、その下に多肢選択(MMLU等)、検証器(verifier)、リーダーボード、LLM審判(LLM-as-a-judge)の4手法が並びます。訓練損失やperplexity、報酬値も指標として存在しますが、こちらはモデル開発の内部指標という位置づけです。
中心はMMLUの実装解説
記事の本題は、多肢選択型ベンチマークの代表格「MMLU(Massive Multitask Language Understanding)」の動かし方です。MMLUは高校数学から生物まで57分野、約16,000問の4択問題で構成され、評価指標は正答率。例えば14,000問正解すれば87.5%です。A/B/C/Dをランダムに選ぶだけで25%取れる点が、スコアを読む際の基準線になります。
コード例は著者のreasoning_from_scratchライブラリからQwen3 0.6Bを読み込み、Hugging Faceのcais/mmluデータセットを使う構成。約1.5GBのRAMで動作します。スコア関数はモデルに最大8トークン生成させ、最初に現れたA/B/C/Dの文字を抽出して正解と比較する素朴な方式です。実例ではモデルが「C」と答えたが正解は「D」だった、というデモが示されています。なお対数尤度を用いる別方式もGitHub上で別途実装が公開されています。
few-shotは前提が変わった
以前は例示を5つ与える「5-shot MMLU」が定番でしたが、現世代のベース模型は素のzero-shotでも十分機能するとされ、few-shotを必須としない流れが紹介されています。高校数学サブセット(270問)など、分野を絞った検証も容易です。
著者は新刊『Build a Reasoning Model (From Scratch)』を早期アクセスで公開中で、こちらは検証器ベースの評価をPyTorchで手を動かしながら学ぶ構成。現在100ページ超が公開され、追加30ページが組版中とのことです。
💼 事業会社視点：これは自社にどう効くか
「評価を内製できる組織」が分岐点になる
SaaS・受託開発・社内AI活用のいずれにおいても、モデル選定をベンダー資料の数値や外部リーダーボードに依存する状態は、もはや経営リスクです。MMLUのスコア計算は文字抽出方式と対数尤度方式で結果が変わり、few-shot設定でも数値が動きます。同じ「MMLU 70点」でも測り方次第で意味が違うことを知らずに導入判断する事業責任者は少なくありません。
日本のEC・カスタマーサポート領域でLLM導入を検討中の役員は、まず社内タスクに沿った評価セット(自社FAQ、商品分類、クレーム判定など)を100〜300問規模で作り、Qwen3 0.6Bクラスの軽量モデルから手元のGPUで回す体制を整えるべきです。1.5GB RAMで動く実装が公開されている今、「評価インフラは大手SIerに発注しないと無理」という言い訳は通りません。受託開発各社にとっては、評価設計そのものをコンサル商材化できる好機です。モデルを売るのではなく、顧客固有の評価を設計する側に回るのが、次の差別化軸になります。