実企業の非公開コードでAIを採点する「Real-SWE」公開。首位Fable 5.1でも38.8%

Real-SWE は、Specific Labs が2026年9月に公開した、実企業から許諾を得た非公開の本番コードベースでコーディングエージェントを評価するベンチマークです。

📖 この記事で分かること

• Real-SWE は実企業から許諾を得た非公開の本番コードで採点する
• 8モデル×ネイティブハーネスの解決率と1回あたりの推定コスト
• 10タスク中6つは解決率15%未満、失敗の最多は「要件の見落とし」
• 公開ベンチマークとの違いと、社内導入判断での読み方

💡 知っておきたい用語

• ハーネス: モデルを動かすための操作環境。Claude Code や Codex CLI のように、ファイル編集やコマンド実行をモデルに代行させる「運転席」にあたる
• ロールアウト: 1つのタスクをエージェントに1回解かせる試行のこと。同じタスクを8回解かせれば8ロールアウト

最終更新日: 2026年9月13日

▶ 公式ページ

• Real-SWE ベンチマーク公式ページ(Specific Labs)

Real-SWE とは何か

この記事のポイント

• Specific Labs が2026年9月、非公開の企業コードベースでコーディングエージェントを評価する「Real-SWE」を公開しました(2026年9月時点)。
• 首位は Claude Code 上の Fable 5.1 で解決率38.8%、2位 GPT-6 Astra 33.8%、3位 Gemini 3.8 Flash 31.2%(2026年9月時点)。
• 公開サンプル10タスクのうち6つは解決率15%未満で、失敗理由の最多は要件の見落としでした。

Real-SWE は、実在する企業から使用許諾を得た本番コードベースをそのまま課題にするベンチマークです。公開リポジトリや合成タスクではなく、実際にその会社のエンジニアに割り当てられた作業(請求の税計算、顧客データの移行など)を、モデルとネイティブハーネスの組み合わせで解かせます。評価は各タスク8回の独立実行による pass@1 の平均で、公式ページには95%信頼区間つきで結果が掲載されています。

8モデルの解決率と推定コスト

結論から言うと、最上位でも4割に届かず、コストと解決率は比例しませんでした。公開されたリーダーボードは次の通りです(いずれも2026年9月時点)。

推定コストは1ロールアウトあたりの金額で、$2.50 から $6.96 の幅があります。Grok 4.6 と Kimi K3 は使用量データが不完全で、実コストはこれより高い可能性があると注記されています。

タスクの中身と失敗の傾向

公開サンプルは10タスクで、課題文の中央値は1,742文字、参照解が編集するファイル数の中央値は11(FrontierCode と DeepSWE は6)です。課題は「請求を再開する月曜までに、事業者ごとに異なる税の扱いを直す」といった業務の文脈がそのまま書かれ、TaxJar のサンドボックスや InfluxDB の台帳、Linear MCP、Slack など、タスクごとに必要な外部サービスが用意されています。

結果は、10タスク中6つで解決率が15%未満でした。全モデルが8回すべて失敗したタスクも1つあります。実行時間との関係では、10分未満のロールアウトの71.4%(98回中70回)が失敗し、10分以上でも73.4%(542回中398回)が失敗しており、長く考えても成績は変わりませんでした。

失敗を分類すると、最も多いのは「指示に含まれる要件の見落とし」です。Grok 4.6 は失敗の67.2%、Kimi K3 は53.8%がこれに該当します。一方 GPT-5.6 Sol は「確認せずに前提を置く」失敗が43.3%と最多で、モデルごとに崩れ方が異なります。

編集部の見方

編集部は、Real-SWE の価値はランキングよりも「公開ベンチマークの高得点が社内コードでの成功率を保証しない」ことを数字で示した点にあると見ます。

• 根拠1: 首位でも解決率38.8%、サンプル10タスクの6つは15%未満(2026年9月時点)。公開リポジトリ由来のベンチマークで見慣れた高得点とは別の景色です。
• 根拠2: 最多の失敗が「要件の見落とし」であり、モデルの推論力より、社内の業務ルールや既存パターンを読み取る工程がボトルネックになっています。導入側が課題文の具体化や検証手順の明示で改善できる余地です。
• 根拠3: Gemini 3.8 Flash は最安の $2.50 で31.2%と、首位の約3分の1のコストで解決率の差は7.6ポイントです。用途によってはコスト側の指標で選ぶ判断が成り立ちます。
• この見方が変わる条件: 公開サンプルは10タスクにとどまるため、非公開の全体セットで順位や失敗傾向が入れ替わる場合は評価を更新します。

よくある質問

Q: Real-SWE のタスクは自分でも試せますか?

A: 公式ページには10タスクのサンプル分析が掲載されており、サンプルへのアクセスは申請制です(2026年9月時点)。全体のタスク数は公開されていません。

Q: 解決率はどう計算されていますか?

A: 各タスクをモデルごとに8回実行し、pass@1 を平均した値です。95%信頼区間もあわせて掲載されています。

Q: 既存の SWE 系ベンチマークと何が違いますか?

A: 課題が公開コードや合成タスクではなく、許諾を得た非公開の本番コードベースから取られている点です。モデル単体ではなく、モデルとネイティブハーネスの組み合わせで評価します。

まとめ

Specific Labs の Real-SWE は、実企業の非公開コードベースでコーディングエージェントを採点する初のサンプル結果を公開しました。首位のFable 5.1 でも解決率は38.8%で、10タスク中6つは15%未満です。失敗の中心は要件の見落としで、コストと解決率は比例しません。導入判断では、公開ベンチマークの点数とは別に、自社コードでの検証を前提に置く必要があります。

【用語解説】

• pass@1: 1回の試行で正解できた割合。Real-SWE では8回実行して平均している
• 参照解: ベンチマーク側が用意した正解の変更内容。Real-SWE ではファイル11個の編集が中央値
• FrontierCode / DeepSWE: 比較対象として挙げられている既存のコーディングベンチマーク。課題文の長さや編集ファイル数の基準値に使われている

引用元:

• [1] Introducing Real-SWE(Specific Labs)
• [2] Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases(Hacker News)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。