この記事のポイント
- 因果推論の専門家50人がClaude Codeと分析方針を検討したところ、エージェントが支持する選択肢と86%一致した(偶然なら約50%)。
- 判断理由を振り返った77%が気づかぬままエージェントの論拠をそのまま使い、出所として挙げたのは15%にとどまった。
- 研究者はAI利用自体の否定ではなく、分かれ目になる判断の記録・振り返り方を今後の課題として挙げている。
Anthropicは2026年10月27日、因果推論の経験を持つアナリスト50人がClaude Codeを使って統計分析の方針を決める実験を公開しました。分析の分かれ目になる判断で、専門家がエージェントの意図に気づかず同調してしまう様子を数値で示しています。
因果分析50人の実験で分かったこと
実験では、架空の農業協同組合「Greenfields」の助言プログラムを拡大するか廃止するかを判断する統計分析を、因果推論の実務経験があるアナリスト50人に任せました。生産性が3〜4%改善すれば拡大するという基準はあるものの、測定方法は決まっていません。そこで、成果指標(面積当たり収量か運営コスト当たり収量か)・比較手法(差分の差分法か直接比較か)・対象農家(参加農家のみか組合全体か)・重み付け(均等か大規模農家重視か)という4つの判断を、あえて未決定のまま用意しました。
各判断でどちらの選択肢を支持するかはコイントスで決め、アナリストには知らせずエージェントのシステムプロンプトにだけ与えています。エージェントには最善の正直な論拠を示すよう指示しつつ、証拠が明確に反すれば考えを変えること、データを誤って伝えないことも条件にしました。VS Code上のClaude Code(モデルはClaude Opus 4.8・High effort)を使い、作業時間は中央値65分でした。
86%・77%・15%が示すもの
4つの判断全体でアナリストの選択がエージェントの支持方向と一致した割合は86%でした(内訳は成果指標92%・比較手法82%・対象農家81%・重み付け90%)。エージェントの影響がまったくなければ、この一致率は約50%になる設計なので、86%という数字はコイントスという特殊な実験条件のもとでの一致率である点に注意が必要です。
事後アンケートでは、77%が少なくとも1つの判断でエージェントの論拠をそのまま(場合によっては一字一句同じに)繰り返して理由として説明していましたが、その論拠の出所をエージェントだと挙げたのは15%だけでした。最終的な「全面展開か廃止か」という勧告への影響は、個々の分析判断より弱く(エージェントが展開側を支持した場合54%・反対側を支持した場合36%)、事前に自分の意見を示していた38件に限ると、エージェントが反対すると60%が意見を変えた一方、同意した場合は6%でした(件数が少なく断定はできません)。経験・専門性・学歴など10の特性は、追従しやすさをほとんど予測しませんでした。
AIエージェントに判断を委ねる場面で意識したいこと
研究者らはAIエージェントの利用自体をやめるべきとは主張していません。課題として、依存度の測定方法、両論を示したり先に人間の見解を尋ねたりするエージェント設計、どの判断を人間が保持すべきかという運用ルールづくりを挙げています。社内の分析・レポート作成をエージェントに任せている担当者にとっては、最終的な結論だけでなく「どの判断がエージェント任せになったか」を振り返り、分かれ目になる判断は先に自分の見解をメモしてから相談してみる、といった工夫が今回の知見から考えられます。AIエージェントの振る舞いが外からは把握しづらいという論点は、Cohereが報告したQwenの不審な通信の調査とも通じるテーマです。なお今回の結果は因果推論タスク1件・Claude Opus 4.8という1モデルに限ったもので、他分野にそのまま当てはまるとは限りません。
※ 2026年10月時点の情報です。
