最先端AI16種、視覚だけのテストで60%に届かず。首位はGPT-5.6-Solの59.7%

PerceptionBench は、Moonshot AI が公開したマルチモーダルLLM向けの評価基準で、推論力や外部知識を使わず「見る力」だけを切り出して測るベンチマークです。

📖 この記事で分かること

• 「見る力」だけを切り出して測る新ベンチマークの中身
• 既存42ベンチの失敗から10の視覚能力を逆算した設計
• 16モデル全てが60%未満という評価結果
• 総合点が近くても能力ごとの穴は大きく違うこと

💡 知っておきたい用語

• 原子的（atomic）能力: 「数える」「奥行きを捉える」のように、これ以上分解できない単位まで割り切った個別スキルのこと

最終更新日: 2026年7月28日

▶ 公式ページ

• PerceptionBench 公式解説（Kimi）
• PerceptionBench リポジトリ（GitHub）
• 評価用データセット（Hugging Face）

PerceptionBench とは何か

この記事のポイント

• Moonshot AI が視覚知覚ベンチマーク「PerceptionBench」を公開しました（2026年7月時点）。
• 16の最先端MLLMを評価し、正答率60%に到達したモデルは1つもありませんでした。
• 公開データは3,000問、ライセンスは Apache-2.0 で手元でも再現評価できます。

Moonshot AI が、マルチモーダルLLM【エムエルエルエム】（MLLM）の「見る力」だけを切り出して測るベンチマーク PerceptionBench を公開しました。同社のKimi K3 のオープンウェイト公開と同時期の公開です。

特徴は出題設計にあります。推論力や外部知識を必要とする問題を意図的に排除し、「見れば答えられる」問題だけで構成しています。従来のマルチモーダル評価は、視覚認識と推論と知識が混ざったまま1つのスコアになるため、モデルが間違えたときに「そもそも見えていないのか、見えた上で考え違いをしたのか」を切り分けられませんでした。PerceptionBench はその手前の層だけを取り出します。

既存42ベンチの「失敗」から10の能力を逆算した

能力の分類のしかたが通常と逆向きです。あらかじめ「視覚能力とはこれとこれ」と定義してから問題を作るのではなく、既存の42個のベンチマークで最先端モデルが間違えた事例を集め、それぞれ「最初に誤った視覚的ステップ」まで遡って原因を帰属させる方式を取っています。この失敗駆動のタクソノミーから導き出されたのが、次の10の原子的能力です。

• Visual Relation（視覚的関係）
• Counting（計数）
• Attribute（属性）
• Depth & 3D（奥行き・3D）
• Localization（位置特定）
• Comparison（比較）
• Fine-grained Recognition（細粒度認識）
• Context Integration（文脈統合）
• OCR【オーシーアール】
• Hallucination（知覚由来のハルシネーション）

公開データセットは検証済みの3,000問で、内訳は既存ベンチの失敗から分解生成したものが1,800問（60%）、新規に作成したものが1,200問（40%）です。社内では17,000問を超えるプールが構築されているとしています。

16モデルすべてが60%に届かなかった

評価対象となった16の最先端MLLMのうち、総合正答率が60%に到達したモデルは1つもありませんでした。上位は GPT-5.6-Sol が59.7%、Kimi K3 が58.5%、Claude-Fable-5 が57.2%と続き、最下位は GLM-4.6V の32.5%です（いずれも2026年7月時点）。

能力別で見ると、平均して最も弱かったのは知覚由来のハルシネーションでした。画像に無いものを「見た」と答えてしまう挙動が、現行モデル共通の弱点として残っていることになります。

もう1つ実務的に重要な指摘があります。総合スコアがほぼ同じモデルどうしでも、能力ごとの得意・不得意の分布は大きく異なるという点です。総合順位表だけを見て選ぶと、自社の用途で必要な能力が欠けたモデルを引く可能性があります。

評価コードは Apache-2.0 ライセンスで公開されており、eval/eval.py を実行すれば自社環境でも同じ評価を再現できます。

編集部の見方

編集部は、このベンチマークの価値は順位表そのものではなく、「総合点が同じでも穴の位置が違う」ことを測定可能にした点にあると見ます。モデル選定の判断軸を、総合スコアから能力別プロファイルへ移すべき段階に入ったという読み方です。

• 根拠1: 16モデル全てが60%未満という結果は、現行モデルの視覚知覚が用途を問わず未成熟であることを示します。推論性能の高さが「見る精度」を保証しないことが数値で確認できます。
• 根拠2: 平均して最弱の能力が知覚由来のハルシネーションである点は、帳票読み取りや在庫画像の確認など、誤認が実害に直結する業務での事前検証の必要性を裏づけます。
• 根拠3: Apache-2.0 かつ評価スクリプトが同梱されているため、ベンダーの公表値を待たず自社データに近い条件で検証できます。導入前チェックの実行コストが低いことは実務上の利点です。

この見方が変わる条件は、次世代モデル群が60%を大きく超え、かつ能力別の分散が縮まった場合です。そのときは総合スコアによる選定で実用上十分になり、能力別プロファイルを見る手間は不要になります。

よくある質問

Q: 既存のマルチモーダルベンチマークと何が違うのですか

A: 従来のベンチマークは視覚認識・推論・知識が混ざったまま採点されるため、失点の原因を切り分けられません。PerceptionBench は推論と外部知識を必要としない問題だけで構成し、「見る」段階の精度だけを取り出して測ります。

Q: 60%未満という数字はどう受け止めればよいですか

A: 問題が「見れば答えられる」水準に設計されている点が前提です。その条件で16モデルすべてが60%に届かなかったため、現行モデルは推論以前に視覚の取りこぼしがあると読めます。ただし本ベンチマークは既存ベンチの失敗事例から作られており、モデルが苦手な領域が濃く集まっている点は割り引いて見る必要があります。

Q: 自社で試すことはできますか

A: できます。データセットとコードは公開されており、ライセンスは Apache-2.0 です。リポジトリを取得し、依存関係を導入して API 認証情報を設定した上で評価スクリプトを実行する手順が示されています。

まとめ

PerceptionBench は、既存42ベンチマークにおける最先端モデルの失敗を遡って10の原子的な視覚能力に分類し、3,000問で「見る力」だけを測るベンチマークです。16の最先端MLLMで60%に到達したモデルはなく、最弱の能力は知覚由来のハルシネーションでした。総合スコアが近いモデルでも能力別の分布は異なるため、用途に必要な能力を個別に確認する価値があります。Apache-2.0 で公開されており、導入前の検証に自社で使えます。

【用語解説】

• マルチモーダルLLM（MLLM）: 文章だけでなく画像などを合わせて扱える大規模言語モデル。本記事の評価対象がこれにあたります。
• 失敗駆動タクソノミー: 能力の分類を先に定義せず、実際の失敗事例を集めて原因側から分類を組み立てる手法。PerceptionBench の10能力はこの方式で導出されています。
• OCR【オーシーアール】: 画像内の文字を読み取る処理。本ベンチマークでは10の視覚能力のうちの1つとして測定されます。

引用元:

• [1] PerceptionBench: Evaluating Atomic Visual Perception in MLLMs（Kimi 公式ブログ）
• [2] MoonshotAI/PerceptionBench（GitHub 公式リポジトリ）
• [3] moonshotai/PerceptionBench（Hugging Face 公式データセット）

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。