何が公開されたのか
smevalsは、小規模なevalスイートを複数のモデル構成に対して実行し、結果を採点するためのツールです。Simon Willison氏が、Jesse Vincent氏の応用AI研究ラボPrime Radiantとの協業で構築し、2026年7月31日付のLink Blogで紹介しました。目的は明快で、「どのモデルが何をどれだけできるのか」という問いに答えることにあります。
使い方は極端に軽い設計です。evalの実体は複数のYAMLファイルを含むディレクトリにすぎません。コーディングエージェントに uvx smevals docs を実行させるとREADMEが出力され、エージェントはそれを読んでevalスイートを組み立てられます。実行は uvx smevals run path-to-eval/ -m gpt-5.5 -m claude-opus-4.6、採点は uvx smevals grade path-to-eval/、結果の確認は uvx smevals serve path-to-eval/ でlocalhostのWebサーバーが立ち上がります。smevals build はレポートを静的HTMLとして書き出すため、どこにでもホストできます。公開されているサンプルレポートは、モデルがどれだけ上手に俳句を書けるかを評価するスイートです。
なぜ重要か：実行と採点を分けた設計
技術的な目玉は機能の多さではなく、runとgradeを分離したという構造判断です。runは「特定のconfigが特定のtaskを実行したときに何が起きたかの記録」であり、採点は後からgraderが定義済みのchecksに従って行います。つまり一度取ったログを、後から別の基準で何度でも採点し直せる。評価基準が固まっていない段階でも計測を始められる、という意味で実務的です。
語彙を決めることが最大の仕事だった
著者自身が「最も時間を要したのはツールの語彙を決めることだった」と述べている点は示唆的です。定義された語彙はeval／task／config／run／runner／grader／grade／checks／checkersの9語。evalは「そのモデルはSVG生成がどれだけ得意か」といった問いに答えるための課題の集合、taskは「自転車に乗ったペリカンのSVGを生成せよ」のような個別の課題、configは評価対象のモデルに加えてシステムプロンプト・モデルパラメータ・エージェントハーネスといった変数も含みます。checksは出力に特定の文字列が含まれるかや有効なXMLかの単純な判定から、checkersと呼ばれるスクリプトによる複雑な判定、さらには別のモデルに問い合わせる方式まで許容します。
ここが本質です。評価が組織で機能しない原因の多くは、ツールが無いことではなく「何をtaskと呼び、何をconfigと呼ぶか」が揃っていないことにあります。著者はevalへのアプローチを数年にわたり模索しており、smevalsはその3回目のイテレーションだと明かしています。今後は機能を拡張し、自身のプロジェクトに向けて使っていく計画です。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社にとって効くのは、ツールそのものより「configにモデル名だけでなくシステムプロンプト・パラメータ・エージェントハーネスまで含める」という設計思想です。SaaSやECで生成AI機能を持つ企業の多くは、モデルを乗り換えるたびに手作業でスプレッドシート比較をやり直しています。runとgradeを分離しておけば、過去の実行ログを新しい評価基準で採点し直せるため、この作業が資産化します。
受託開発・SIerには直接的な商機があります。evalの実体がYAMLディレクトリで、smevals build が静的HTMLレポートを吐く以上、「御社の業務プロンプトを評価スイート化し、モデル更新のたびに自動でレポートを出す」提案が現実的な工数で組めます。品質保証の説明責任を、感覚ではなくレポートで果たせる形になります。
経営者が今すべき判断は一つ。自社の主要ユースケース5〜10件をtaskとして文章化し、合否のchecksを言語化する作業に、担当役員を指名することです。gpt-5.5とclaude-opus-4.6のどちらを使うかは、その定義があって初めて答えが出る問いです。