Claudeの会話25万件を外部の研究者が独立分析。半数超が「重大な作業」の委任

Anthropic Insights を使い、外部の研究3機関が Claude の実利用データを独立に分析した結果が公開されました。

📖 この記事で分かること

• 外部3機関がClaudeの実利用データを独立分析した経緯
• 研究者が生の会話を一切見ない仕組みと契約の作り
• 「半数超が重大な作業の委任」など判明した数値
• 未完了の分析や質問設計の歪みという限界

💡 知っておきたい用語

• Anthropic Insights: 会話を1件ずつ人が読まずに、AIに質問を投げて答えを集計だけ取り出す分析ツール。アンケートの自由記述を集計表にする作業に近い。

最終更新日: 2026年8月27日

▶ 公式ページ

• Enabling independent research on how people use Claude(Anthropic)
• パイロットの詳細を記した付録(PDF)(Anthropic)
• Anthropic Insights(旧称 Clio)の解説(Anthropic)

外部3機関がClaudeの実利用データを独立分析

この記事のポイント

• Anthropicが2026年8月26日、外部研究者にClaudeの集計済み実利用データを開放したパイロットの結果を公開しました。
• 対象は2026年4〜5月のClaude.aiまたはClaude Codeの会話 約25万件。研究者は生の会話を一切見ません。
• スタンフォード大の分析では、会話の半数超が「結果が重大な作業」の委任でした。

Anthropicは8月26日、外部の研究機関にClaudeの実利用データへのアクセスを提供したパイロットの結果を公開しました。参加したのはスタンフォード大学のSocial and Language Technologies(SALT)Lab、オックスフォード大学のHuman Information Processing Lab、そしてフロンティアAIモデルを評価する非営利団体のMETRの3機関です。

各機関は自分たちで研究テーマを設計し、分析も独立して実施しました。データ収集の実行だけをAnthropicが代行しています。Anthropicは同社の公表として、AI企業自身の利用データを使って外部研究者が公開の独立研究を行ったのはこれが初めてだと考えている、と記載しています。集計データは各プロジェクトぶんが一般公開されています。

生の会話を見せずに分析させる仕組み

研究者が触れるのは、集計後の出力だけです。生の会話には一切アクセスしません。

使われたのは「Anthropic Insights」(旧称 Clio・2026年8月時点)というプライバシー保護型の分析ツールで、Anthropicが社内研究で使っているものと同じです。研究者は「この人はどんな種類の助言を求めているか」といった質問を書き、Claudeが会話1件ずつに答え、その答えがカテゴリに集約されます。研究者が見るのは最終的なカテゴリ名と、各カテゴリに該当する会話の割合だけです。出力は社内研究と同じ法務・プライバシーレビューを通ります。

研究の独立性は契約で担保されました。Anthropicのレビュー権限は、ユーザーのプライバシー、利用ポリシー違反を助長しうる情報、Anthropicの機密情報、研究の正確性の4点に限定されています。それ以外は内容に口を出さず、Anthropicにとって不都合な結果でも研究者は公表できると明記されました。第三者によるプライバシー監査はImperial College Londonが実施しています。

分かったこと

最も具体的な結果を出したのはSALT Labです。事前の研究では「人はAIに責任の軽い作業だけを任せる」とされていましたが、実際にはClaudeの会話の半数超が、他者に影響する、あるいは取り消しにくい「結果が重大な作業」の委任でした。法務や財務など専門的な助言を求める場面で特に多くなっています。一方で会話の約4分の3では人間が方向性を決めてClaudeが補助する形が取られ、出力をそのまま使わず手直しするのが普通でした。

オックスフォードのラボは、Claudeの振る舞いと利用者の感情が対になって現れることを報告しています。Claudeが温かいと利用者は前向きになり、拒否や反論には押し返し、風変わりな応答には知的に関与する、といった対応です。ただし正式なレポートは未公開です。METRはコーディングエージェントによる生産性向上を推定しており、新しいモデルほど短縮効果が大きいという暫定結果を示していますが、分析は継続中です。

編集部の見方

編集部は、今回の発表で最も重いのは研究結果そのものより、「生ログを見せずに外部監査を成立させた手続き」が公開された点だと見ます。

• 根拠1: レビュー権限を4点に限定し、不都合な結果でも公表自由と契約に書いた構造が明示されています。監査の独立性は善意ではなく契約条項で担保されており、他社が真似できる形になっています。
• 根拠2: 都合の悪い部分も開示されています。利用規約違反のカテゴリのうち「利用者がどう安全装置を回避したか」を記述したものは除外していますが、影響はカテゴリ・会話とも各研究で5%未満で、どのクラスタを改変・削除したかと理由は研究者に伝えたと記載されました。
• 根拠3: 手法の弱点も自ら書いています。生の会話を誰も読めないため、質問の言い回しが悪くて会話が誤ったカテゴリに入っても検知しにくい。外部パートナーは共有のたびにプライバシーレビューが必要で質問を練り直せず、代替として公開データセットWildChatで検証させたところ、カジュアル・創作寄りのWildChatでは良好だった質問が実データでは誤解を招くカテゴリを生んだ、としています。

数値の読み方には注意が要ります。「半数超が重大な作業」はSALT Labのカテゴリ集計であり、その集計自体が上記の質問設計の影響を受けます。オックスフォードとMETRは分析が終わっていません。現時点で確定した知見として引用できるのはSALT Labの結果までで、残る2件は続報を待つ段階です。

この見方が変わる条件は、拡大の可否です。Anthropic自身が、パイロットはAIラボの通常の研究速度からすると遅く運用コストが重いと認めており、それが規模拡大の課題だと明記しています。慎重に少しずつ始めるとしており、参加機関が3件から増えず1回きりで終われば、手続きの公開は先例ではなく単発の実験に留まります。

よくある質問

Q: 研究者は自分の会話の中身を読めるのですか?

A: 読めません。研究者がアクセスするのは集計後の出力のみで、生の会話には一切アクセスしないと記載されています。出力は社内研究と同じ法務・プライバシーレビューを通ります。

Q: 対象になったのはいつのデータですか?

A: 2026年4〜5月のClaude.aiまたはClaude Codeの会話 約25万件です。3機関がそれぞれこのデータに対して自分の研究課題を設定しました。

Q: 自分の研究でも使えますか?

A: Anthropicは拡大の可否を検討中で、関心のある研究者向けに意向表明のフォームを公開しています。受け入れ条件や時期は未記載です。

まとめ

Anthropicは2026年8月26日、外部3機関がClaudeの集計済み実利用データを独立に分析したパイロットの結果を公開しました。対象は2026年4〜5月の会話 約25万件で、研究者は生の会話を見ずに集計出力だけを扱い、レビュー権限を4点に限定した契約で独立性を担保しています。SALT Labは会話の半数超が結果の重大な作業の委任だったと報告しましたが、残る2機関の分析は未完了で、質問設計に起因する誤分類のリスクも公式に明記されています。

【用語解説】

• Anthropic Insights: 会話を人が読まずに分析するためのプライバシー保護型ツール。旧称はClio。Anthropicが社内研究でも使用している。
• METR: フロンティアAIモデルを評価する非営利団体。今回はコーディングエージェントによる生産性向上を推定する側で参加した。
• WildChat: 人とAIの会話を集めた公開データセット。今回は研究者が質問の妥当性を事前検証する用途に使われた。

引用元:

• [1] Enabling independent research on how people use Claude(Anthropic)
• [2] パイロットの付録(PDF)(Anthropic)
• [3] SALT Lab の研究レポート(alphaXiv)
• [4] Anthropic Insights(旧称 Clio)(Anthropic)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。