📖 この記事で分かること
- MedChemBenchの規模と問題の成り立ち
- 評価されたモデルの数と公表されたスコア
- ツールなし・1回きりという評価条件
- OpenAI自身が挙げている結果の限界
💡 知っておきたい用語
- 創薬化学(メディシナルケミストリー):薬の候補になる分子を設計し、構造を少しずつ変えて性質を良くしていく研究分野です。
- 推論強度:モデルが回答前にどれだけ考えるかを決める設定です。この発表ではxhighという設定のスコアが示されています。
最終更新日: 2026年11月21日
▶ 公式ページ
- Introducing MedChemBench(OpenAI 公式)

MedChemBenchの概要
この記事のポイント
- OpenAIが創薬化学の推論を測るベンチマークMedChemBenchを発表しました(2026年11月時点)。
- 117件の論文・特許をもとにした99問で、11種類のGPTモデルを評価しています。
- Astraは分子構造の項目で、xhigh設定で配点の95.4%を得ました(2026年11月時点)。
- OpenAIは、この結果は新薬を発見できるかを示すものではないとしています。
OpenAIは、創薬化学の推論力を99問で測るベンチマークMedChemBenchを発表し、11種類のGPTモデルを推論強度の設定別に評価した結果を公表しました。分子構造の解析や測定値の予測にGPTモデルを組み込んでいる開発者は、モデルと推論強度の設定を選ぶときに、この分野に絞った同じ99問での比較結果を材料に使えるようになります。
ただし、比較できるのはツールを使わない1回きりの回答の出来までです。ツール呼び出しや再試行を組んだ構成での性能と、未公開の化合物での精度は、この結果からは分かりません。OpenAIも公式の発表ページで、結果の限界を複数挙げています。
99問の成り立ちと採点の仕組み
問題はすべて公表済みの研究から作られており、採点には部分点があります。OpenAIが示している内容は次のとおりです。
- もとになった資料: 117件の論文・特許
- 含まれる分子構造: 761種類
- 問題数: 公表済みの研究から作った99問
- 評価対象: 11種類のGPTモデルを、異なる推論強度の設定で評価
- 採点: 予測値は、実測値への近さに応じて部分点が与えられる
公表されたスコアのうち、分子構造の評価項目では、Astraがxhigh設定で配点の95.4%を得ています。この数値は正答率ではなく、配点に対して得た点の割合です。予測値の問題に部分点があるため、実測値に近い答えにも点が入ります。
スコアが当てはまる範囲
このスコアが示すのは、ツールを使わない1回きりの回答の出来です。OpenAIは評価条件と限界を次のように説明しています。
- 各回答は、ツール・フィードバック・新しい実験なしの1回きりの試行だった
- モデルが出典の公表資料に事前に触れていた可能性は排除できない
- この結果は、モデルが新薬を発見できるか、実験室での判断を改善できるかを示すものではない
具体的な場面で考えると、分子構造を渡して測定値を予測させる処理を社内ツールに組み込んでいるチームが当てはまります。このチームがモデルや推論強度の設定を切り替えるときは、公式ページの評価結果を比較の出発点にできます。
一方、自分たちの処理が化学計算ツールの呼び出しや、結果を見ての再試行を前提にしているなら、評価条件が違います。その場合、スコアの順位が自分たちの環境でもそのまま成り立つとは言えません。
また、問題のもとは公表済みの論文・特許です。未公開の社内化合物で同じ水準の結果が出るかは、このスコアからは分かりません。採用を判断する前に、手元のデータで自前の評価を取る必要があります。
編集部の見方
編集部は、MedChemBenchのスコアはモデルと推論強度の設定を絞り込む材料にとどめ、創薬業務にモデルを採用する根拠にはしない方がよいと見ています。
- 根拠1: 評価はツール・フィードバック・新しい実験なしの1回きりの試行です。ツール呼び出しや再試行を組む実運用の構成とは条件が違います。
- 根拠2: OpenAI自身が、出典の公表資料にモデルが事前に触れていた可能性を排除できないとしています。95.4%という数値に、既知の内容を再現した分がどれだけ含まれるかは切り分けられていません。
- 根拠3: OpenAIは、この結果が新薬の発見や実験室での判断の改善を示すものではないと明記しています。
設定を選ぶ場面では役に立ちます。同じ99問で11種類のモデルを推論強度別に並べた結果があれば、どの設定から自前の評価を始めるかを決めやすくなるからです。
この見方が変わる条件は、ツールや再試行を含む条件での結果、または公表前のデータを使った検証が示された場合です。そのときは、実運用に近い判断材料として扱えます。
よくある質問
Q: MedChemBenchのスコアが高いモデルは、創薬の実務に使えますか?
A: このスコアだけでは判断できません。OpenAIは、結果はモデルが新薬を発見できるか、実験室での判断を改善できるかを示すものではないとしています。
Q: 評価はどのような条件で行われましたか?
A: 各回答は、ツール・フィードバック・新しい実験なしの1回きりの試行です。11種類のGPTモデルが、異なる推論強度の設定で評価されました。
Q: 95.4%は正答率ですか?
A: 正答率ではなく、配点に対して得た点の割合です。分子構造の評価項目でAstraがxhigh設定で得た値で、予測値の問題には実測値への近さに応じた部分点があります。
まとめ
MedChemBenchは、117件の論文・特許をもとにした99問で創薬化学の推論を測るベンチマークです。Astraは分子構造の項目でxhigh設定のとき配点の95.4%を得ました。評価はツールなしの1回きりの試行で、OpenAIは出典資料への事前の接触を排除できないとしています。化学向けの機能を作る開発者にとっては、設定を絞り込む材料にはなりますが、自前データでの評価の代わりにはなりません。
【用語解説】
- 部分点: 完全な正解でなくても、答えの近さに応じて与えられる点です。MedChemBenchでは、予測値が実測値に近いほど多く与えられます。
- 事前の接触: 評価に使う問題のもとになった資料を、モデルが学習の段階ですでに見ていることです。起きていると、推論の力ではなく記憶で答えられた分がスコアに混ざります。
- 配点に対する得点率: 満点のうち何%の点を得たかを示す値です。部分点がある採点では、正答率と一致しません。
引用元:
- [1] Introducing MedChemBench(OpenAI 公式)
この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。
Previous Post
ElevenLabs Ads Engine、動画広告を撮り直さず多言語版に。TikTokにも接続
Next Post
GeminiのMacアプリがクリックや入力を代行。「computer use」米国で提供開始
15 年以上の開発経験を持つソフトウェアエンジニア / テクノロジーライター。AI エージェントの実務活用を研究し、現場や経営者向けセミナーでその知見を発信。本メディア tech-noisy.com では、一次情報に基づく最新ニュース・解説記事を執筆。また、音楽生成 AI による DJ パフォーマンスを企業イベントで行うなど、テクノロジーと表現の融合も探求している。