AIコーディングエージェント、コミットは増えてもリリースは伸び悩む

Demirer、Musolff、YangらはAIコーディングツールの効果を分析した論文を公開しました。本記事では活動量と出荷・利用の指標を分けて読みます。

コミット活動の累積推定は240%増、リリースは30%増

論文は、ツールの世代ごとに効果を比べています。コミット数(変更を記録した回数を表す活動指標)で見ると、自動補完機能で30%増、対話型のコーディングエージェントで180%増、自律的に動くコーディングエージェントでは240%増という累積効果が推定されました。似た開発者を対応させ、利用前後の変化を比べる分析であり、無作為に利用者を割り当てた実験ではありません。コミット数はコードの行数や品質そのものではなく、240%は自律型だけを追加した効果ではなく、それまでのツール進化を含む累積推定です。

一方、同研究の累積効果は、プロジェクト数で見ると80%増まで下がり、実際にリリースされた数では30%増まで縮小します。4つの主要なソフトウェアマーケットプレイスでの検証でも、新規アプリの数は大きく伸びた一方、利用量全体はほとんど増えていなかったとのことです。これらは異なる指標それぞれの増加率であり、コミットの何割がリリースに至ったかを示す通過率ではありません。活動量の伸びと、出荷・利用の伸びを分けて捉える必要があります。

レビューや統合が追いつくかで、出荷への効果が変わる

研究チームは、この結果は「weak-link(弱い輪)仮説」と整合すると説明しています。ひとことで言うと、AIがどれだけコードを速く書けても、レビュー・統合・リリース管理といった人の作業が追いつかなければ、そこで効果が頭打ちになるという考え方です。

あわせて、AIと人の労働の代替弾力性(どれだけ代わりが効くかを示す指標)を0.23と推定しています。この値が低いほど、AIが人の仕事を置き換えるのではなく、互いに補い合う関係に近いことを示すとされています。なお著者のうち2名は以前Microsoftでポスドク研究職にあり、同社の有償研究コンサルタントを務めることが論文の公開ページで開示されています。本稿は査読前のNBERワーキングペーパーで、著者らの分析です。

まとめ:変更回数だけでなく、公開と利用まで測る

この研究が示すのは、コーディングエージェントの導入効果を「コミットなどの活動量」だけで測ると、実態より大きく見えてしまう可能性です。開発チームで導入効果を評価する方にとっては、コミット数の先にあるレビュー・統合・リリースの工程までを含めて導入効果を評価する視点が持てます。投資の重心をエージェントの性能だけに置かず、レビューや統合の体制づくりにも配分する価値があるかどうかを考える材料として参考になりそうです。

組織への影響という観点では、Anthropicが自社の雇用データで示した若手技術職の採用比率低下とエンジニア1人あたりコミット数の急増も紹介しています。

自社で効果を測るなら、コード変更からレビュー、公開、実際の利用までを別々の指標で追うと、次に改善すべき工程を見つけやすくなるでしょう。