AI がコードを書くようになって約2年、評価指標が答えてきたのは「このモデルはバグを正しく直せるか」という問いだけだった。
正解できればランキングが上がる。さらに速くてトークンが少なければ高く評価される。SWE-bench Verified、DeepSWE、SWE-bench Live といった主要ベンチマークは、solve rate とコストの二軸で構成されている。
しかし、ずっと測られてこなかった次元がある。AI がバグを直した結果、どれだけの不要なコードを残したかだ。
Parsimony はまさにその空白を埋めるために登場した。先日 Hacker News のトップに上がり、その核心は一行で言い表せる。行数を数えるのではなく、coding units の正味増加量を測る、と。
既存の benchmark が見落としてきた軸
まず現状をおさえる。SWE-bench Verified は現在最も参照される AI コーディングベンチで、OpenAI、Anthropic、Google が新モデルを発表するたびに Verified のスコアを公表している。DeepSWE は Cognition(Devin のチーム)が運営し、SWE-bench Live は Princeton が管理するローリング版だ。
この3つが何を見ているか。pass rate とトークンコストだ。モデルがリポジトリにどれだけのゴミコードを紛れ込ませたかを見ているものは一つもない。
実際の開発現場ではこれが毎日起きている。筆者が Claude Code で Next.js プロジェクトを修正した時、モデルの solve rate は満点だったが、PR には800行もの余計なコードが含まれていた。その半分は実際には使われていない helper を import したもので、別のファイルに既にあるロジックをコピペして少し書き換えた箇所もあった。機能としては問題ない。だが、このコードを引き継ぐ人は翌週には頭を抱えたくなる。
こうした事象は、現在の benchmark では完全に捕捉できない。
Parsimony は「正味のコード量」をどう測るか
Parsimony のメソッド説明に、こんな一文がある。これがプロジェクトの一番鋭いところだと思う。
Deleted code is subtracted, so it measures net units.
つまり AI が新しく書いたコード量を数えるだけでなく、AI が削除したコードを総点から差し引く。最終スコアは絶対行数ではなく、coding units の正味増加量になる。
なぜ直接行数を数えないのか。行数はチートされやすいからだ。モデルが関数の中に空行を足したり、無意味なコメントを数行加えれば LoC は簡単に水増しできる。LoC がプログラマにとってダメな指標なのは周知の通りだ。
Parsimony は代わりに coding units を数える。具体的には次の4種類。
- statements(文)
- calls(関数呼び出し)
- names(変数・クラス・識別子の命名)
- literals(リテラル:文字列・数値)
これらは AST(抽象構文木)から抽出された本物の「コード密度」であって、体裁上の偽行数ではない。
チートしようとすれば、モデルに意味のある構文ノードを実際に書かせる必要がある。それなら結局コードを書いているのと同じだ。指標が意味論の層に近いほど、チートの余地は狭くなる。この方向性は Simon Willison が以前語っていた「評価は出力だけでなく意図を見るべきだ」という議論と通じている。
作者自身が GPT-6 と Claude 5.5 を走らせた
Parsimony のデータは論文からの孫引きではない。
プロジェクトページに堂々とこう書かれている。GPT-6 と Claude 5.5 は公開 patch が存在しないため、作者本人がモデルを動かしてデータを補完したと。
この事実はそれ自体で語る価値がある。Anthropic と OpenAI のモデルリリース速度は、もはやサードパーティの benchmark が追いつくスピードを超えている。SWE-bench の patch データセットは数ヶ月前に凍結されたもので、新モデルが出た後は公式データを待つか、コミュニティが自前で走らせるしかない。Parsimony の作者は後者を選んだ。このスコアは各社の社内データと差がある可能性を認めつつ、少なくとも公式データが出るまでの空白期間にランキングを空欄にしないという判断だ。
オープンソースの評価プロジェクトにとって、この「自分でデータを埋める」という姿勢は重要な意味を持つ。
長期プロジェクトにとっての意味
コードの肥大化は慢性病だ。
今日 solve rate 100% の PR が、3ヶ月後に受け継いだ人の頭痛の種になる。800行の余計なコードは、次のような形で残る。
- 誰も消せない「なんだか便利そうな」関数
- コピペされてきた旧ロジック
- 調査用の console.log やデバッグ分岐
- 暫定実装だが誰も削除しない温存コード
いずれも技術的負債だ。
Parsimony の価値は、「未来の保守コスト」を今日比較可能な数字に落とし込んだことにある。エンジニアリングチームが AI コーディングツールを選ぶ際、これからはバグを直せるかだけでなく、直し方がきれいかどうかという評価軸が加わる。
これはクラウドベンダーが後から導入した「有効クエリ数による課金」と同じ論理だ。初期の「呼び出しごと課金」は無駄を奨励したが、後期の「結果ごと課金」は最適化そのものを競争力に変えた。AI コーディングツールも迟早この段階に来る。
編集部の考察
あらゆる AI コーディングベンチが、いま solve rate の競争に突き進んでいる。
これは本質的に試験的思考だ。答えが合っていればよく、解答が醜いかどうかは問わない。だが現実のエンジニアリングは試験ではない。コードが長くなれば保守が難しくなるという話はソフトウェア工学の講義で必ず出てくる。それがいまだに benchmark 入りしていないのは奇妙な話だ。
Parsimony が先鞭をつけたのは確かだが、限界もはっきりしている。現時点では単一 PR の次元しか見ていない。複数ファイルにまたがる影響は考慮されていないし(AI が5ファイルを修正し、各ファイルで20行ずつ削除していれば正味ゼロに見えるが、実際にはモジュール境界が崩壊しているかもしれない)、可読性も見えていない(変数名の命名がひどい場合や名前空間が汚染されるケースは coding units には表れない)。
ただ、方向性は正しい。
最後に一つ、考えてみたい問いがある。Anthropic と OpenAI が正味コード量を公式ランキングに加えたら、業界はどう変わるか? モデルベンダーは訓練に「コードの簡潔さ」を reward として組み込むのか、それともこのスコアだけを最適化する投机的なモデルが登場するのか。そしてそれが新たな内巻(過剰競争)を生むのか。
答えを予想することはできない。だが一つだけ確かなのは、公式ベンチがコードの肥大化にペナルティを課し始めた瞬間、AI コーディングツールの prompt engineering の重心は「どうバグを直すか」から「どう少ないコードで直すか」へ移るということだ。届时、prompt エンジニアは《Clean Code》を読み始めることになるかもしれない。
プロジェクトサイト: https://parsimony.lasu.dev/
メソッド概要: statements / calls / names / literals の4種類の coding units を集計し、削除されたコードを総点から差し引く