實戰

Qwen 3.8 27B 逆向工程實測:半小時搞定閉源旗艦的活

270 億參數的開源模型,三十分鐘完成閉源客戶端協議的逆向工程。Hacker News 衝上 159 分,這個成績值得拆開來看。

字級

270 億參數、Apache 2.0 授權、阿里 Qwen 團隊開源——這是 Qwen 3.8 27B 的基本盤。它最近被拿來做一件不太「配得上」開源模型的事:逆向工程一個閉源客戶端協議。三十分鐘搞定,作者比對後說「可與 frontier model 媲美」。Hacker News 頂到 159 分、80 則留言,評論區吵翻了。

以下把這件事拆開來談。

任務本身是什麼:憑什麼說「完成了」

不是 demo。原文作者 xda-developers 上的文章 給的是一個真實的逆向工程場景:目標是某個未公開協議的桌面客戶端,作者需要在沒有原始碼的前提下,把協議格式、訊息邊界、關鍵欄位推敲出來。

這類任務典型的步驟:

  1. 抓封包,觀察請求與回應的二進位流
  2. 找出 magic bytes、長度前綴、結構邊界
  3. 對照客戶端 UI 行為,反推每個欄位的語意
  4. 寫腳本重現一次完整握手

作者把這套流程交給 Qwen 3.8 27B 在 agent loop 裡跑:從抓包檔讀起,自己寫 Python 解析、自己執行、自己改 bug、自己再跑。總耗時 30 分鐘——這是 wall clock 時間,不是「生成 token 的時間」。

三十分鐘這個數字才是重點。閉源 frontier 模型(GPT-4o、Claude 3.5 Sonnet)跑同樣的任務,過去業界基準給出的參考時數是幾小時到幾天。三十分鐘做到作者認為的「可媲美」水準,參數才 27B——這就是 HN 上吵起來的點。

27B 憑什麼能打:參數小不等於能力差

27B 這個規模在 2024 年初算是「消費級顯示卡勉強跑得動」的臨界點(4090 24GB 顯存要靠 4-bit 量化)。但 Qwen 團隊靠的不是堆參數。

橫向比一比:

  • Llama 3.1 8B:Meta 同代的開源旗艦,8B 規模,長鏈推理明顯掉漆,超過五步的工具呼叫就開始「幻覺」上一步的結果
  • Qwen 上一代 72B:原 Qwen 2.5 72B,長上下文與程式碼能力都強,但單次推理成本高,4090 跑不動
  • Qwen 3.8 27B:參數砍了六成多,但長鏈任務表現追平甚至超越上一代

差距從哪裡來?兩個東西:

第一是訓練資料。Qwen 團隊從 Qwen 2.5 開始就把「程式碼 + 工具呼叫軌跡」當作預訓練資料的重要組成。這不是簡單的「餵程式碼」,而是把真實的 agent 執行軌跡(工具呼叫、報錯、重試、成功)當作監督訊號灌進去。這種資料比「程式碼語料」值錢得多。

第二是 RLHF 的顆粒度。閉源 frontier 模型早就這麼做——Anthropic 在 Claude 3.5 Sonnet 的技術報告裡就強調「訓練時大量使用工具呼叫軌跡」。Qwen 團隊這次的 RLHF 顯然也是走這條路,而不是傳統的「人類標註偏好對」。

結果是:27B 的模型,在 agent loop 裡能穩定跑十幾輪不掛。這是過去開源模型普遍的短板。

和閉源 frontier model 的差距在哪

「可媲美」這三個字要拆開來看。

作者說「finished in 30 minutes」,但沒說「一次就跑通」。我猜的真實情況大概率是:模型在 agent loop 裡反覆試錯,三十分鐘是總 wall clock。如果讓 GPT-4o 或 Claude 3.5 Sonnet 用同樣的工具組、同樣的時間預算,可能 20 分鐘收工,也可能 40 分鐘收工——這才是「可媲美」的精確含義。

差距主要在三個地方:

多輪工具呼叫的穩定性。開源模型在第十輪之後,錯誤率明顯上升。閉源 frontier 模型因為訓練時見過更多這類軌跡,「幻覺上一步結果」的機率低得多。

長上下文記憶。逆向工程任務後期,模型要參考前幾輪抓包的所有模式。Qwen 27B 在 32K 之後開始掉精度,Claude 3.5 Sonnet 的 200K 上下文則穩得多。

複雜指令的細微理解。例如作者要求「先驗證假設再寫程式碼」,開源模型容易跳過驗證直接動手;閉源模型更傾向嚴格按步驟來。

所以,「能不能做」追平了,「做得多穩」還差一截。這次事件更像一次「任務級追平」,而不是「持續追平」。

HN 評論區在吵什麼

HN 那則貼文 159 分、80 則留言,幾個高讚方向很典型:

質疑任務難度:有人說「逆向一個明文協議不算逆向」,作者用的協議格式相對規整,magic bytes 明顯。如果是 TLS 加密、混淆、雙向認證,27B 跑不動。

用閉源模型重跑對比:有留言貼了自己用 Claude 3.5 Sonnet 跑同一任務的截圖,宣稱 12 分鐘搞定(沒放出完整 prompt 與工具組態,可信度存疑)。

算 4090 推理成本:有人按 vLLM + AWQ 4-bit 量化估算,27B 在 4090 上每秒約 35 token,照 30 分鐘算總電費不到 0.5 美元。同樣的任務用 GPT-4o API,至少 5 美元起跳。

質疑「30 分鐘」的口徑:少數留言指出,30 分鐘可能是人工加入提示詞迭代的時間,不是純模型推理時間。作者沒在原文裡講清楚口徑。

吵最兇的還是第一條——任務到底難不難。這其實是個沒法回答的問題,因為「難」是相對的。但吵本身說明一件事:開源模型在真實任務上的可用性,已經逼得大家開始摳任務難度而不是摳模型能力。這是話語權的轉移。

編輯觀點

開源模型對閉源 frontier 的「任務級追平」已經發生——這次 Qwen 27B 30 分鐘逆向工程不是孤例,過去半年 DeepSeek V3、Mistral Large 2 都在不同垂直任務上交過類似的成績單。但「持續追平」還早,差距在穩定性、長上下文、複雜指令上,閉源模型依然領先一個身位。

這次事件真正的訊號是:選型標準從「誰參數大」變成「誰在垂直任務上被驗證過」。27B 幹不贏 70B 是常識,但 27B 在逆向工程上 30 分鐘搞定閉源模型幾小時的活,代表選型時的「尺寸崇拜」該結束了。

一個反共識的觀察:當開源模型夠用時,閉源 frontier 的護城河不再是「能不能做」,而是「能不能便宜地做」。Anthropic、OpenAI 真正的防禦不是模型能力,而是企業級 SLA、資料隱私、稽核日誌、合規背書這些「非模型」的東西。這是另一場仗。

不確定的地方:30 分鐘這個數字的口徑,原文沒講清楚是純推理時間還是含人工。如果是後者,Qwen 27B 實際能力的「水位」要再打折。HN 上那個 Claude 3.5 Sonnet 12 分鐘的對比也無法驗證。建議讀者把這篇文章當成「開源模型可用性已達臨界點」的訊號,而不是「27B 全面超越 frontier」的定論。


參考來源:xda-developers: Qwen 3.8 27B reverse engineering job

來源: https://www.xda-developers.com/qwen-3-8-27b-reverse-engineering-job-frontier-model/