設定2つでARC-AGI-3のスコアが約3倍。原因はモデルでなく評価側の記憶設計

ARC-AGI-3 は、未知の2Dパズルゲームを説明なしで探索させ、AIエージェントが仕組みを推論し学習する能力を測るベンチマークです。

📖 この記事で分かること

• GPT-5.6 Sol のスコアが約3倍になった理由
• 公式ハーネスが捨てていた2種類の記憶
• OpenAI が API 利用者に推奨する3つの設定
• ベンチマークの数字が実際に測っているもの

💡 知っておきたい用語

• ハーネス: モデルにタスクを与え、行動を受け取って進行させる評価用の実行環境。ゲーム機本体にあたる部分で、同じモデルでもここの作りで結果が変わります。

最終更新日: 2026年7月30日

▶ 公式ページ

• 検証の詳細(OpenAI 公式)(OpenAI)
• ARC-AGI-3 のデモゲームを試す(ARC Prize)

OpenAI が自社モデルの低スコアを再検証した

この記事のポイント

• OpenAI は2026年7月29日、ARC-AGI-3 における GPT-5.6 Sol(2026年7月時点)の低スコアの原因を調査した結果を公開しました。
• 原因はモデルではなくハーネス側の設定で、推論の保持と compaction を有効にすると public task set で13.3%から38.3%(2026年7月時点)に上昇しました。
• 出力トークンは6分の1。OpenAI は API 利用者に Responses API と同じ設定の使用を推奨しています。

このベンチマークで、GPT-5.6 Sol のスコアは7.8%、GPT-5.5 は0.4%にとどまっていました。25本のデモゲームは公開されており、誰でも同じ課題を自分でプレイできます。

一方で同じ GPT-5.6 Sol は、cycle double cover 予想のような数学の未解決問題を解き、Pokémon FireRed もクリアしています。この落差を不審に思った OpenAI が調べた結果、モデルの能力ではなく評価側の実行環境に原因があったと公表しました。著者は Ilan Bigio 氏と Ted Sanders 氏です。

なお、当初の7.8%と、OpenAI が公式ハーネスで再現した public task set の13.3%との差について、対象セットや試行条件の違いなどの説明は公式にはありません(不明)。

公式ハーネスが捨てていた2種類の記憶

見つかった原因は、モデルの「記憶」を削る2つの挙動でした。

1つ目は、ゲーム内の1行動ごとにモデルの private reasoning(内部の思考)が破棄されていた点です。過去の行動の記録と短いメモは見えますが、そこに至った計画・気づき・思考は見えません。結果として GPT-5.6 Sol は、1手ごとにゲームのルールを一から推測し直していました。

2つ目は、履歴の切り捨て方です。公式ハーネスは会話コンテキストが175,000文字を超えると最も古いメッセージから破棄する rolling truncation を採用していました。履歴が伸びるほど、思考だけでなく過去の行動自体も視界から消えていきます。OpenAI はこの方式の欠点として、過去の観察と行動が失われること、タスクの大半をコンテキストウィンドウが埋まった状態で進めるため性能がわずかに落ちうることを挙げています。

ARC 側がツールや特別な機能を持たない汎用的なハーネスを使うのは意図的な設計です。単純なハーネスの方がモデルの弱点が見えやすく、モデル間の比較が公平になるという考えによるもので、各モデルの機能や癖に合わせて最適化する商用の開発者とは前提が異なります。

13.3%から38.3%へ、出力トークンは6分の1

OpenAI は ARC-AGI-3 のハーネスを自社の Responses API(2026年7月時点)で実装し直しました。GPT-5.6 では直前のレスポンス ID を渡すと、ツール呼び出しやターンをまたいで推論が自動的に保持されます。さらに rolling truncation を、同 API の設定である compaction に置き換えました。

推論を保持した効果は2点として報告されています。1手ごとにゲームを解釈し直す必要がなくなり、1行動あたりの思考時間が短くなったこと。そして過去の思考を参照できることで、時間をかけて学習し、一貫した戦略を取れるようになったことです。compaction への置き換えでは、長い実行でも各ゲームについて学んだ内容を保てるようになり、より少ない出力トークンで高いスコアに届きました。

数字としては、公式ハーネスでの13.3%に対し、推論の保持と compaction を有効にした場合は38.3%。GPT-5.6 Sol(max)で約3倍のスコアを、出力トークン6分の1で達成しています。スコアの指標は人間のベースラインと比較する RHAE(Relative Human Action Efficiency)で、公式のプレイログに基づく OpenAI の推定では人間のテスターの平均は48%です。モデルは採点方法を知らされず、プレイ中に自分のスコアも見られません。行動が返すのは各フレームのテキスト表現と、現在のレベルだけです。

公式記事の冒頭では、両ハーネスの比較動画が公開されています。該当ゲームのリーダーボードではどのフロンティアモデルも最初のレベルより先に進めていませんが、OpenAI のハーネスでは GPT-5.6 Sol が6レベルすべてを解いています。検証の詳細と比較動画は公式ページで確認できます。

API 利用者への推奨と、公式が触れていない範囲

OpenAI は API 開発者向けに、自社製品で実際に使っている設定として次の3点を推奨しています。レガシーの Chat Completions API ではなく Responses API を使うこと、推論を保持すること、compaction を使うこと。モデルを比較する場合も、ChatGPT や Codex の実運用に近いこれらの設定を使う評価を参照するよう勧めています。

OpenAI は、低いスコアに驚いて調べたところ評価の実行側が推論メッセージを捨てる汎用ハーネスを使っていた、という経験が今回が初めてではないとも書いています。同時に、ARC の長年の評価研究と、今回の調査のきっかけになった ARC 側の GPT-5.5 に関する分析への謝意を明記しています。

一方で、他社モデルに同じ設定変更をした場合の効果、ARC 側が今後ハーネスを変更するか、compaction の具体的なアルゴリズム、この検証にかかったコストはいずれも公式には記載がありません(不明)。

編集部の見方

編集部は、この件で実務に効くのはスコアの上げ方ではなく、エージェントの学習能力が記憶の扱い方で決まるという一点だと見ます。

• 根拠1: 推論を保持しただけで1行動あたりの思考時間が短くなり、出力トークンが6分の1になりました。記憶がない状態では、同じ推論を毎手やり直していたことの裏返しです。
• 根拠2: 履歴の切り捨てを compaction に替えたことで、長い実行でも学んだ内容を保てるようになりました。エージェントが「長く動くほど賢くなる」か「長く動くほど混乱する」かは、履歴の圧縮方式で分かれます。
• 根拠3: 人間のテスター平均48%に対し38.3%まで詰まりました。モデルを差し替えずに、実行環境の設定だけで到達した水準です。

この見方が変わる条件は、ARC 側がハーネスを更新し、各モデルが同条件で再計測された場合です。その時点で今回の差はモデル間比較の論点に戻り、実装差ではなく能力差として読めるようになります。

読み手として持ち帰る点は2つあります。公開ベンチマークの順位は、モデル単体の性能ではなく API 設定・ハーネス設計・プロンプトを含んだ束の測定結果であること。そして自分でエージェントを運用しているなら、モデルを上位版に替える前に、推論を破棄していないか、履歴をどう縮めているかを確認する方が費用対効果が高い場合があることです。

よくある質問

Q: 今回の改善で、モデル自体が強くなったのですか?

A: いいえ。使われたモデルは同じ GPT-5.6 Sol で、変更したのは評価を実行するハーネス側の設定です。推論の保持と compaction の有効化により、public task set で13.3%から38.3%に変わりました。

Q: 推論の保持と compaction は、どうすれば有効になりますか?

A: OpenAI は Responses API の利用を前提に説明しています。GPT-5.6 では直前のレスポンス ID を渡すことでツール呼び出しやターンをまたいで推論が保持され、compaction は同 API の設定として指定します。詳細な手順は公式記事に記載された範囲を超えるため、公式ドキュメントの確認が必要です。

Q: 他社モデルでも同じように改善しますか?

A: 公式には記載がありません。今回公表されたのは GPT-5.6 Sol と GPT-5.5 に関する数値のみで、他社モデルに同じ設定変更を適用した場合の効果は不明です。

まとめ

OpenAI は2026年7月29日、ARC-AGI-3 における GPT-5.6 Sol の低スコアの原因が、1行動ごとに内部の思考を破棄し、古い履歴から切り捨てるハーネスの設定にあったと公表しました。推論の保持と compaction を有効にすると、public task set のスコアは13.3%から38.3%へ、出力トークンは6分の1になりました。ベンチマークの数値はモデル単体ではなく実行環境を含めた測定結果であり、エージェントを運用する側にとっては、記憶の保持方式が学習能力を左右するという具体的な事例になります。

【用語解説】

• ARC-AGI-3: 未知の2Dパズルゲームを説明なしで探索させ、AIエージェントが仕組みを推論し学習する能力を測るベンチマーク。25本のデモゲームは誰でもプレイできます。
• RHAE【アールエイチエーイー】: Relative Human Action Efficiency の略。人間のベースラインと比較してモデルの成績を表す指標で、公式のプレイログに基づく OpenAI の推定では人間のテスター平均は48%です。
• compaction: 会話履歴が長くなったときに、古いものから捨てるのではなく要約して圧縮しながら継続する方式。過去の観察や行動を残したまま文脈量を抑えられます。

引用元:

• [1] How enabling two settings tripled our scores on the ARC-AGI-3 benchmark(OpenAI)
• [2] ARC-AGI-3 タスク一覧(ARC Prize)
• [3] OpenAI 公式アカウントの発表投稿(X / OpenAI)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。