AI 寫程式這件事,過去兩年的評測體系基本上只回答一個問題:這個模型能不能把 bug 修對?
能修對,排名就高。修得快、token 用得更少,就更受推崇。SWE-bench Verified、DeepSWE、SWE-bench Live 這些主流榜單,核心指標就兩類——solve rate 與成本。
但有個維度一直沒人測:AI 修完這個 bug,剩下多少其實不需要的程式碼?
Parsimony 就是衝著這個缺口來的。它最近登上 Hacker News 首頁,核心思路只有一句話:不看行數,看淨增的 coding units。
現有 benchmark 都漏了一個維度
先講現況。SWE-bench Verified 是目前最常被引用的 AI 編碼榜單,OpenAI、Anthropic、Google 每次發新模型都會貼一組 Verified 上的分數。DeepSWE 是 Cognition(Devin 團隊)做的,SWE-bench Live 是 Princeton 維護的滾動版。
這三個榜單看什麼?看 pass rate。看 token 成本。沒人在看模型順手往倉庫裡塞了多少垃圾程式碼。
實際工程裡這事天天在發生。我自己用 Claude Code 改過一個 Next.js 專案,模型 solve rate 滿分,但 PR 多出了 800 行——其中一半是 import 了一堆根本沒用到的 helper,還有一段把別的檔案已有的邏輯複製貼上過來改一改。功能沒問題,但接手的人下週就要開罵。
這種事,現在的 benchmark 完全測不出來。
Parsimony 怎麼量化「淨程式碼量」
Parsimony 的方法說明裡寫了一句話,我覺得是這個專案最聰明的地方:
Deleted code is subtracted, so it measures net units.
意思是它不只統計 AI 新增了多少程式碼,還會把 AI 刪掉的程式碼從總分裡扣掉。最終分數是淨增的 coding units,不是絕對行數。
為什麼不直接數行數?因為行數太好作弊。模型只要在函式裡多塞幾行空行、加幾行無意義的註解,LoC 馬上就飆上去。LoC 是每個程式設計師都知道的糟糕度量。
Parsimony 改成數 coding units,具體分四類:
- statements(陳述式)
- calls(函式呼叫)
- names(變數、類別、識別符命名)
- literals(字面值,如字串與數字)
這是從語法樹抽出來的真實「程式碼密度」,不是排版出來的假行數。
如果想作弊,得讓 AI 真的寫出有意義的語法節點——那就等於在寫程式了。度量越接近語意層,作弊空間就越小。這個思路和 Simon Willison 先前討論的「評測要看意圖,不只看輸出」是同一個方向。
作者親自跑 GPT-6 與 Claude 5.5
Parsimony 的資料不是從論文抄來的。
專案頁直接寫了:GPT-6 與 Claude 5.5 因為沒有公開 patch,由作者本人跑模型補上資料。
這件事本身就值得多說一句。Anthropic 與 OpenAI 發新模型的速度,已經超過第三方 benchmark 跟上的速度。SWE-bench 的 patch 資料集是幾個月前凍結的,新模型出來後,要嘛等官方放資料,要嘛社群自己跑。Parsimony 的作者選了後者——他承認這部分分數和原廠內部資料可能有落差,但至少在官方資料出來之前,榜單不會空著。
對一個開源評測專案來說,這種「我來補資料」的態度挺重要的。
對長期專案意味著什麼
程式碼膨脹是慢性病。
今天看著 solve rate 100% 的 PR,三個月後接手的人才會痛。多出來的 800 行程式碼,會變成:
- 沒人敢刪的「看起來有用」函式
- 複製貼上過來的舊邏輯
- 除錯用的 console.log 與除錯分支
- 臨時解法但永遠沒人清掉
每一項都是技術債。
Parsimony 的價值是把「未來維護成本」量化成今天就能比的數字。工程團隊在挑 AI 編碼工具時,從此多了一個評分項:不光要能修 bug,還要修得乾淨。
這和雲端服務商後來推出「按有效查詢次數計費」是同一套邏輯——早期的「按呼叫計費」鼓勵浪費,後期的「按結果計費」讓最佳化變成競爭力。AI 編碼工具遲早也會走到這一步。
編輯觀點
所有 AI 編碼榜單現在都在拚 solve rate。
這事本質上還是考試思維——解題對就好,不管解得醜不醜。但真實工程不是考試。程式碼越長越難維護這件事,軟體工程課早就講過,到現在卻還沒進 benchmark,實在說不過去。
Parsimony 開了個頭,局限也很明顯:它目前還是單一 PR 維度。跨檔案影響沒考慮進去(AI 改了 5 個檔案,每個檔案只刪 20 行,看起來淨增為零,實際上模組邊界已經崩了),可讀性也沒納入(變數名亂取、命名空間污染,這些 coding units 抓不到)。
但方向是對的。
留個問號:如果 Anthropic 和 OpenAI 把「淨程式碼量」加進官方排名,整個產業會怎麼變?模型廠商會在訓練時加入「程式碼簡潔度」reward,還是會冒出專門刷這個分數的投機式模型?會不會又演變成新一輪的軍備競賽?
這事我猜不到,但可以肯定:一旦官方榜單開始懲罰程式碼膨脹,AI 編碼工具的 prompt engineering 重心,就會從「怎麼修對 bug」轉向「怎麼少寫程式碼」。屆時 prompt 工程師可能真的得去翻《Clean Code》了。
專案網址:https://parsimony.lasu.dev/
方法說明:統計 statements / calls / names / literals 四類 coding units,刪除的程式碼從總分扣除