何が起きたか
Moonshot AIが、マルチモーダル言語モデルの視覚認識能力を論理推論から切り離して測定するベンチマーク「PerceptionBench」を発表しました。データセットと評価コードはGitHub（MoonshotAI/PerceptionBench）で公開されています。
従来のベンチマークは、知覚・知識・推論を1問にまとめて出題します。PerceptionBenchはこれを分解し、視覚を10個の「原子的」なサブスキル——Visual Relation、Counting、Attributes、Depth & 3D、Localization、Comparison、Fine-grained Recognition、Context Integration、OCR、Hallucination——に切り分けました。すべての問題は画像を見るだけで答えられ、推論も外部知識も必要ありません。
設問例は拍子抜けするほど簡単です。時計の文字盤上でシンボルがどの位置にあるか。赤枠の中に花が何本あるか。2つのペン立てのうち、グレーとピンクの組み合わせはどちらか。内部プールの17,000問超から3,000問が公開され、その60%はモデルの実際の誤答から作られ、40%は加工画像で再構成されています。
なぜ重要か
結果が示すのは「賢さ」ではなく「読み違い」の壁です。16モデル中、GPT-5.6 Solが59.7%で首位、Kimi K3が58.5%、Claude Fable 5が57.2%、Gemini 3.1 Proが56.2%、GPT-5.5が55.8%と、上位5モデルの差は4ポイント弱に収まります。一方でQwen3.5-397B-A17Bは47.5%、GLM-4.6Vは32.5%と大きく開きます。
より示唆的なのはカテゴリ別です。総合スコアがほぼ同じモデルでも、個別領域では鋭く分岐します。象徴的なのが「Hallucination」——正解が「ゼロ個」のときに存在しない物体をでっち上げないかを見るテストで、全体平均で最も弱い領域です。総合1位のGPT-5.6 Solがここでは26.9%にとどまる一方、総合では下位のGemini 3.5 Flashが50.6%で上位に入ります。「総合ランキング上位＝自社ユースケースで最良」が成立しないことを、数値で突きつけた形です。
分類は事前定義でなく、誤答から作られた
著者らは10カテゴリを机上で定義したのではなく、既存ベンチマークでの実際の誤答をたどり、最初に破綻した工程まで遡って類型化しました。前提として42のオープンソースベンチマークを分析したところ、それぞれが捉える誤りのプロファイルはほとんど重ならず、単一のテストや少数の組み合わせでは視覚認識の全体像を掴めないことが分かったといいます。
ここから導かれる主張が本丸です。多段階タスクで「推論の失敗」とされてきた事象の多くは、実は最初の画像読み取りの段階ですでに間違っている——つまり知覚レベルの失敗だという指摘です。PerceptionBenchは設問を知覚のみのサブ問題に分割することで、どの視覚能力が壊れているかを特定できるようにしています。
点をつなぐ：繰り返し現れる同じ壁
同じ研究チームは以前、物体認識と推論を分離するWorldVQAを公開しており、最高性能のGemini 3 Proでも47.4%と50%に届かず、全モデルが自身の確信度を系統的に過大評価していました。また中国の研究機関がMoonshot AIも関与して行った別研究では、BabyVisionベンチマークにより、線をたどる・隠れたブロックを数えるといった幼児期の発達段階に対応する課題でフロンティアモデルが失敗すること（Gemini 3 Proが49.7%に対し人間は94.1%）が示されています。
研究者はこの人間との差を「言語化ボトルネック」——視覚情報が言語に翻訳される過程で忠実度が失われる構造——に帰しています。3つの異なるベンチマークが同じ方向を指しているという事実が、単発の測定ミスではないことを裏づけます。
なお、Moonshot AIのオープンソースモデルKimi K3は、一般ベンチマークでClaude Fable 5やGPT-5.6 Solとの差を数ポイント以内まで詰めており、攻撃的サイバーセキュリティや複雑な数学といった専門領域では後れを取るものの、視覚認識では欧米勢と同等の水準にあります。
💼 事業会社視点：これは自社にどう効くか
「最高性能モデルを選べば安全」という調達ロジックが、視覚タスクでは崩れます。総合1位のGPT-5.6 Solがハルシネーション領域で26.9%、総合下位のGemini 3.5 Flashが50.6%——存在しない物体をでっち上げないことが要件なら、上位モデルを選ぶほど不利になり得ます。
実務への直撃は、画像を入力に使う業務です。ECの商品画像からの属性自動抽出（色・柄・個数）、保険や建設の損害査定、製造業の外観検査、物流の棚卸しカウント、経理のレシート・帳票OCR。いずれもCounting、Attributes、OCR、Hallucinationという、今回60%を割った領域そのものです。「精度95%」を前提に置いた自動化のPoCが本番で崩れる典型パターンがここにあります。
役員・事業責任者が今週やるべきは3つ。第一に、自社のユースケースを10カテゴリのどれに当たるか棚卸しし、総合スコアではなくカテゴリ別で候補モデルを再評価すること。第二に、PerceptionBenchが3,000問とコードをGitHubで公開している以上、自社画像で同じ設計（推論を混ぜず知覚だけを問う）の社内評価セットを100問規模でも作ること。ベンダーのデモではなく自社データで測る根拠ができました。第三に、受託開発・SIerであれば、画像AI案件の契約に「知覚精度の測定方法」を明記すること。推論の失敗と読み取りの失敗を切り分けないまま瑕疵責任を負う構図は、この研究が示す通り危険です。逆に、この切り分けを提示できる開発会社は提案で明確に差別化できます。