AI性能比較のArtificial Analysis、攻略対策で非公開問題を2倍の40%に

Artificial Analysis Intelligence Index が2026年9月4日にv4.2へ更新され、順位表そのものより採点方法が大きく作り替えられました。

📖 この記事で分かること

• Intelligence Index v4.2の主な変更点
• 非公開テストの比率が2倍になった理由
• GPQA Diamondが外された背景
• 追加されたAA-BriefcaseとGDP.pdfの中身

💡 知っておきたい用語

• ホールドアウトテストセット: 採点する側だけが問題と答えを持ち、受験者に見せない試験。入試問題を当日まで公開しないのと同じ考え方
• ベンチマーク: AIモデルの性能を同じ条件で比べるための試験問題のこと

最終更新日: 2026年9月6日

▶ 公式ページ

• Intelligence Index v4.2の発表記事(Artificial Analysis)
• Intelligence Indexの方法論ページ(Artificial Analysis)

Intelligence Index v4.2で変わったこと

この記事のポイント

• AIモデルの評価機関Artificial Analysisが2026年9月4日、総合指標Intelligence Indexをv4.2へ更新しました(2026年9月時点)。
• 指標の重み付けのうち非公開ホールドアウトテストの比率が、v4.1の2倍となる40%になりました。
• 飽和したGPQA Diamondを除外し、実務に近い長時間タスクの評価2種を追加しています。

AIモデルの性能を横断比較する第三者評価機関のArtificial Analysisは9月4日、総合指標のIntelligence Indexをv4.2へ更新しました。これはAI各社の公式発表ではなく、外部の評価機関による指標の改訂です。

同社はv4.2を、準備中のv5の要素を前倒しした中間アップデートと位置づけています。v4の公開は2026年1月で、8か月ぶりの更新にあたります。更新の理由として、直近数週間でフロンティアの動きが速く、指標を有用に保つには暫定の中間更新が必要だったと説明しています。

非公開テストを2倍にした狙い

今回の中心にあるのは、順位表の入れ替わりではなく採点方法の作り替えです。変更は3つが同時に入りました。

1つ目は重み付けです。指標全体のうち非公開ホールドアウトテストが占める比率が40%になり、v4.1の2倍になりました。非公開の対象はAA-Briefcase、AA-Omniscience、そしてCritPtの解答です。同社はこれを、開発側が評価を攻略する余地を減らすためだと説明しており、v5ではこの比率をさらに引き上げる予定としています。

2つ目は除外です。科学的推論の評価として使われてきたGPQA Diamondが、飽和したという理由で外れました。上位モデルの得点が上限付近に張り付くと、指標としての差がつかなくなります。

3つ目は追加された2種の性質です。AA-Briefcaseは、業界の専門家が構築した数週間規模の業務プロジェクトを扱い、多数の連結タスクと数千件の入力ソースファイルを与えます。採点はルーブリックとペアワイズを組み合わせ、タスクの成功だけでなく分析の質と提示の質も見ます。Surge AIが作成したGDP.pdfは、10ドメイン100本のPDF、計4,592ページに散らばった本文・表・グラフ・脚注・除外条件を統合させる試験です。1,275個の専門家作成の評価基準で採点し、看板指標のAll-pass Rateは全基準を満たしたタスクだけを正解として数えます。

このほか採点基盤も更新され、AA-LCR v1.1では採点用システムプロンプトの追加と解答キーの修正、GDPval-AA v2とAA-Briefcaseではサンプリング改善とEloスケールの再アンカーが入りました。SciCodeでは、遅いが正しいコードが失敗扱いにならないよう採点サンドボックスの堅牢性が上げられています。

v4.2での順位と傾向

新しい採点方法での総合指標は、AnthropicのClaude Fable 5.1が首位、2位がOpenAIのGPT-6 Astraでした。GPT-6 AstraはGPT-5.6 Solから4ポイント上昇しています。ラボ単位の3位はMetaで、以下SpaceXAI、Moonshot/Kimi、Z.AI、Googleと続きます。なお総合指標の点数そのものは公式記事の図表にのみ示されており、本文には数値の記載がありません。

追加された2種では傾向が分かれました。AA-BriefcaseはClaude Fable 5.1とOpus 5が首位で、続いてGPT-6 AstraとMuse Spark 1.3が並びます。GPT-6 AstraはGPT-5.6 Solより約85 Eloポイント上でした。一方GDP.pdfはOpenAIが首位で、GPT-6 Astraが33.2%、GPT-5.6 Solが28.2%、Claude Fable 5.1が26.2%です。長い文書の読解と、長期プロジェクトの遂行では、強いモデルが同じではないことになります。

費用面では、Cost per TaskのパレートフロンティアをAnthropic、OpenAI、Meta、Z.AIの4ラボが占めました。出力トークンの効率ではGPT-6 Astraがフロンティア付近のほぼ全モデルより効率的で、Claude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Liteが曲線の両端に位置します(指標25未満のモデルは除外)。

編集部の見方

編集部は、この更新で最も重いのは順位の入れ替わりではなく、非公開40%という比率そのものだと見ます。

• 根拠1: 非公開ホールドアウトがv4.1の2倍の40%になり、対象にAA-Briefcase、AA-Omniscience、CritPtの解答が含まれます(2026年9月時点)。問題と答えが公開されている限り、それが学習データに混ざることで見かけ上の得点が上がる余地は残ります。比率を上げることは、その余地を構造的に狭める手当てです。
• 根拠2: GPQA Diamondの除外理由が飽和であることです。公開された試験ほど早く上限に張り付くため、公開問題だけで序列を保つ設計には限界があります。
• 根拠3: 追加された2種はどちらも実務寄りです。数週間規模で数千ファイル、あるいは4,592ページと1,275基準という規模は、一問一答ではなく作業単位の評価へ寄せる意図が明確です。

導入判断に使う側から見ると、単一のスコアで並べるより、自社の作業がAA-Briefcase型(長期プロジェクトの遂行)なのかGDP.pdf型(大量文書の読解)なのかを見分けて参照するほうが実務に合います。上の順位が示すとおり、この2つでは上位のモデルが一致していません。

この見方が変わる条件は、v5で非公開比率をさらに引き上げた結果、第三者が結果を再現・検証できる範囲が狭まる場合です。攻略対策と検証可能性は方向が逆であり、比率を上げ続けることが常に良いとは限りません。

よくある質問

Q: Intelligence Index v4.2はAI開発各社の公式発表ですか?

A: 違います。Artificial Analysisという第三者の評価機関が公開している指標の改訂です。OpenAIやAnthropicなどが自社で出した数値ではありません。

Q: 非公開ホールドアウトテストを増やすと何が良いのですか?

A: 問題と答えが公開されていると、それが学習データに混ざったり、その試験に合わせた調整が行われたりして、実力以上の得点が出る余地が生まれます。非公開の比率を上げるとその余地が狭まります。同社はv5でさらに引き上げる予定としています。

Q: GPQA Diamondはなぜ外されたのですか?

A: 飽和したためです。上位モデルの得点が上限付近に集まると差がつかなくなり、序列をつける指標としての役割を果たしにくくなります。

まとめ

Artificial Analysisは2026年9月4日、Intelligence Indexをv4.2へ更新し、非公開ホールドアウトテストの比率をv4.1の2倍となる40%へ引き上げました。飽和したGPQA Diamondを外し、数週間規模の業務プロジェクトを扱うAA-Briefcaseと、4,592ページの文書読解を課すGDP.pdfを追加しています。総合の首位はClaude Fable 5.1、2位はGPT-6 Astraでしたが、追加された2種では上位モデルが一致しておらず、用途に応じた読み分けが必要です。

【用語解説】

• Elo: もとはチェスの実力を数値化する仕組みで、対戦成績から相対的な強さを推定します。AIの評価では、モデル同士の比較結果から順位差を数値で表すのに使われます。
• All-pass Rate: GDP.pdfの看板指標。設定された評価基準を1つでも落とすと不正解となり、すべて満たしたタスクだけを正解として数える厳しい採点方式です。
• 飽和: 上位のモデルが軒並み高得点を取り、点差がつかなくなった状態。試験としての識別力が失われるため、指標から外す判断につながります。

引用元:

• [1] Artificial Analysis Intelligence Index v4.2(Artificial Analysis)
• [2] Intelligence Benchmarking Methodology(Artificial Analysis)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。