Googleが重みも試験問題も渡さずGeminiを外部評価。追加の計算コストは5%未満

二重盲検評価のパイロットをGoogle DeepMindが2026年8月27日に公開しました。評価側はモデルの重みを見られず、Google側もテスト問題を見られない構成です。

📖 この記事で分かること

• 二重盲検評価が解いた「二択」の中身
• 暗号化エンクレーブで守られる範囲
• ベンチマーク汚染の実態と先行研究
• 残る前提と、規模面の制約

💡 知っておきたい用語

• エンクレーブ: 中身を外から覗けない金庫のような計算領域。鍵を持つ処理だけが内部で動く

最終更新日: 2026年8月28日

▶ 公式ページ

• Piloting the world’s first double-blind AI evaluations(Google DeepMind)

Google DeepMindが公開した二重盲検評価とは

この記事のポイント

• Google DeepMindが2026年8月27日、独自モデルに対する世界初の二重盲検【にじゅうもうけん】評価のパイロットを公開しました。
• 評価側はモデルの重みを見られず、Google側もテスト問題を見られない構成です。
• 追加の計算コストは5%未満。障壁は法的合意とコードレビューだとされています。

外部評価はこれまで二択を迫られていました。評価側がテスト問題をモデル提供元に渡すか(提供元が問題を事前に見られる)、提供元が重みを評価側に渡すか(知的財産のリスクを負う)です。Google DeepMindは2026年8月27日、この二択を暗号技術で解消したパイロットを公開しました。

パートナーはシンガポールAI Safety Institute、OpenMined、AVERI、MLCommonsの4者です。一次発表の表記は「Gemini Flash Liteモデル」で版は明示されていませんが、Gemini 2.5 Flash Lite(2026年8月時点)をMLCommonsとシンガポールAI Safety Instituteの非公開ベンチマークに対して実行したとの報道があります。

エンクレーブの中で何が起きているか

双方の資産を同じ計算空間に入れながら、互いに中身を見せない構成です。

技術構成はGoogle CloudのConfidential Spaceに、NVIDIA H100 Confidential GPUとIntel TDXによるホストメモリ暗号化を組み合わせたものです。DeepMind側が重みと推論コードを、評価側がベンチマークのプロンプトと評価コードを、それぞれ暗号化された接続でエンクレーブへ投入します。評価が終わると、許可された結果だけが評価側に渡り、一時環境は破棄されます。

データを送る前段にはremote attestation(リモート認証)があり、エンクレーブが合意どおりのソフトウェアを実行していることを双方が確認してから投入に進みます。

暗号化だけでは塞げない穴もあります。エンクレーブの中で走るコード自体が、機微な情報を外部へ送信できてしまう問題です。ここはOpenMinedのPySyftが担当し、Googleと評価側が事前にコードを承認したうえで、評価の機微な部分が外部接続することをブロックします。

ベンチマーク汚染という背景

この手続きが必要とされる理由は、公開ベンチマークの汚染にあります。

技術報告が引く先行研究では、テストされた31モデルのうち約半数に汚染の兆候が見つかっています。今年公表された別の研究では、汚染がスコアを押し上げ、その効果は大きなモデルほど顕著だとされます。モデルが試験問題を事前に見ていれば、点数は能力ではなく既視感を測ってしまいます。

計算面の負荷は小さく収まりました。オーバーヘッドは5%未満で、技術報告はむしろ組織間の法的合意とコードレビューのほうが大きな障壁だとしています。

編集部の見方

編集部は、今回の価値はスコアではなく「検証可能性を誰が担保するか」を一段動かした点にあると見ます。ただし信頼はゼロになっていません。移動しただけです。

• 根拠1: クラウド事業者とハードウェアメーカーが結託して保護を回避しない、という前提は残ります。Confidential SpaceのゲストOSはオープンソースでビルド工程も外部検証済みですが、個々のビルドは非公開の署名鍵に依存し独立に再現できません。attestationレポートの署名と検証にもGoogle自身のサービスが使われます。
• 根拠2: MLCommonsは、問題がどれだけ守られてもベンチマーク自体の運用管理は依然必要だと指摘しています。暗号化は出題の秘匿を担保するだけで、出題の妥当性までは担保しません。
• 根拠3: 規模はまだ小さく、今回はH100 80GBのConfidential GPU 1枚での実行です。1枚に載らない大きなモデルへ向けては、H100やB200を暗号化リンクで束ねたクラスタが検討段階にあります。

「世界初」の位置づけも、先行事例との差で読むほうが正確です。2024年12月にOpenMinedがUK AISI・Anthropicと実施したパイロットは、Anthropicが自社モデルの代理として提供したオープンソースモデルを対象にしていました。今回が「独自・フロンティアクラス」を名乗れるのはこの差によります。

この見方が変わる条件は、attestationの検証を提供元以外が実行できるようになったときです。研究者はattestationを、ブラウザのHTTPSの鍵アイコンのように意識せず使える状態にすることを目標に挙げています。そこまで届けば、前提の一つは実際に外れます。

よくある質問

Q: 評価される側は何を渡すのですか

A: モデルの重みと推論コードを、暗号化された接続でエンクレーブへ投入します。評価側はこれらにアクセスできません。

Q: この方式でスコアは変わりますか

A: 今回のパイロットはスコアの更新を目的としていません。Google DeepMindは結果の数値ではなく、テストの実施方法を主題としています。

Q: 実行コストはどれくらい増えますか

A: 技術報告ではオーバーヘッドは5%未満とされています。負担が大きいのは計算資源ではなく、組織間の法的合意とコードレビューだとしています。

まとめ

Google DeepMindは2026年8月27日、重みと試験問題のどちらも相手に渡さないまま外部評価を成立させたパイロットを公開しました。Confidential SpaceとPySyftの組み合わせにより、評価側は重みを、Google側は問題を見られません。計算上の追加コストは5%未満に収まった一方、ハードウェアとビルド署名に対する信頼は残り、実行規模もGPU 1枚の段階です。

【用語解説】

• 二重盲検【にじゅうもうけん】: 検査する側とされる側の双方が、相手の手の内を知らないまま試験を行う方式。医療の臨床試験で使われる考え方をAI評価に持ち込んだもの
• remote attestation: 計算環境が合意どおりのソフトウェアを実行していることを、遠隔から暗号的に確認する仕組み
• ベンチマーク汚染: 評価用の問題が学習データに混入し、点数が実力より高く出てしまう状態

引用元:

• [1] Piloting the world’s first double-blind AI evaluations(Google DeepMind)
• [2] Secure Enclaves for AI Evaluation(OpenMined)
• [3] Google found a way to test Gemini without seeing the questions(The New Stack)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。