實戰

NESformer 實測:1GB Qwen 如何在 NES 中控制角色

NESformer 將約 1GB 的 Qwen 權重接入 NES 環境,讓模型從畫面觀察、狀態壓縮一路走到動作輸出。本文拆解其技術鏈路,並分析延遲、記憶與重現實驗時應留意的變數。

字級

NESformer 把約 1GB 的 Qwen 權重接入 NES 環境。本文拆解它的觀察、狀態壓縮與動作輸出鏈路,也說明重現前該記錄哪些變數。

先談結論:這不是完整版的遊戲 AI

NESformer 很容易被包裝成另一場示範:讓 Qwen「玩任天堂」。

精準來說,它只完成三件事中的一件:把 NES 畫面當作觀察,依據觀察選擇遊戲動作,再由環境回傳下一幀。

這既不是「生成像素」,也不是單純「看懂畫面」。

  • 生成像素:模型輸出一張圖,像素是否具有遊戲語義並不重要。
  • 理解畫面:模型辨識角色、敵人、道具與位置。
  • 即時控制:模型必須在每輪互動中及時給出動作,而不是事後解釋畫面。

NESformer 的價值在於第三點。它提供一個可以實際執行的專案,讓人觀察語言模型如何把推理結果轉換成鍵盤或手把動作。

但「能在 NES 環境中進行可玩的互動」,不等於「能通關任天堂遊戲」。策略是否穩定、能否長期規劃、記憶是否可靠,單看示範或專案摘要還不夠。

專案如何把 Qwen 接進 NES

程式碼已發布於 GitHub:

https://github.com/dbreunig/nesformer

專案介紹指出,它將 Qwen 與 Atari/NES 風格的遊戲環境結合,透過動作控制觀察語言模型如何完成環境互動。核心鏈路可以濃縮為:

NES frame → 視覺觀察 → 狀態壓縮 → Qwen 動作決策 → NES action → next frame

這不是讓 Qwen 直接讀取遊戲記憶體,也不是把完整影格序列全部塞進 prompt。

模型先看到遊戲畫面,環境再把觀察壓縮成模型能處理的表示。接著,Qwen 從可用動作集合中選出一項,NES 環境執行該動作並回傳下一幀,進入下一輪。

這類 Agent 的難點藏在各介面之間:

  1. 畫面編碼必須保留空間關係。
  2. 狀態壓縮不能遺失下一幀決策所需的資訊。
  3. 輸出必須嚴格落在合法動作集合內。
  4. 推理延遲必須跟得上遊戲節奏。

若沒有約束動作格式,模型即使「理解」得不錯,也可能輸出遊戲無法執行的內容。若觀察壓縮只留下描述性文字、卻捨棄座標與相對位置,按鍵選擇很快就會失準。

1GB 權重究竟代表什麼

專案使用約 1GB 的 Qwen 模型權重。這個數字很直觀,但它只回答了一個問題:模型檔案有多大。

它不直接等同於參數量,也不等同於執行時的記憶體用量。

至少要分開看三組數字:

指標意義可能受什麼影響
權重檔案大小儲存庫或下載取得的模型檔案體積參數量、精度、量化方式
參數量模型中可學習權重的數量模型架構與規模
執行記憶體推理時實際占用的資源框架、KV cache、上下文長度、batch、裝置

假設某組 Qwen 權重採用低位元量化,檔案可能明顯小於相同規模的 FP16 版本。然而,低位元檔案較小,不代表所有執行成本都會按相同比例下降。Transformer 推理還要保留中間激活值、注意力鍵值快取與執行時工作區。上下文越長,KV cache 也會增加。

因此,「約 1GB」是這套方案容易傳播的入口指標,卻不是完整的效能結論。

真正該測量的是四件事:

  • 每一步動作耗時多少毫秒?
  • 一局遊戲會累積多少上下文?
  • 狀態壓縮後還剩多少資訊?
  • 同一組權重在不同推理框架下,記憶體與速度差多少?

這套方案適合低成本重現,原因並不神秘:權重不大、環境輕量、互動循環短,而且每一步都容易觀察與中斷。它也適合用於 Agent 除錯實驗,因為相較於完整世界模型或大規模遊戲訓練,可控制的變數更少。

限制同樣直接。

小型模型更容易忽略遠處目標、短暂出現的敵人與精確位置。語言模型的輸出還會受到 prompt、採樣參數及動作解析規則影響。若系統沒有歷史摘要,它可能「看得到卻記不住」;若摘要壓縮過度,它又可能「記得很多卻看不清」。

別只看會不會按鍵:互動才是難點

觀察畫面、壓縮狀態、選擇動作、記住目標,是四筆不同的時間成本。

觀察階段的問題不只是解析度。NES 畫面通常不大,但少數像素仍承載方向、距離、平台高度、敵人移動方向等資訊。下採樣、裁切或顏色編碼,都可能改變這些訊號。

壓縮階段決定長期互動能否持續。若保存完整影格序列,視窗會越來越長;若只保留最近幾幀,又容易忘記目標。較實用的做法通常是保留少量近期觀察,再疊加任務狀態、事件記錄與關鍵位置摘要。

動作階段必須處理延遲。若每一步都呼叫一次遠端 API,網路往返可能直接破壞即時性。本地推理、批次處理或非同步環境會更合適。

記憶階段則會浮現更深的問題:模型是在當前畫面中推理,還是依據任務歷史選擇動作?一個能辨識水管與道具的模型,不一定知道「該先拿道具,還是先躲子弹」。這涉及狀態追蹤,也涉及策略。

它與一般強化學習模型有根本差異。

強化學習通常把狀態映射至動作,並透過獎勵訊號更新策略。LLM Agent 則多是在既有模型能力之上,加入觀察、記憶、工具呼叫與動作執行。Qwen 本身不會因為接上 NES,就自動獲得遊戲專用策略。

因此,NESformer 更適合回答這個問題:在不修改現成語言模型權重的情況下,能否透過 Agent 支架完成閉環互動?

至於它能否穩定通關、是否學到長期規劃,不能直接從「模型會按鍵」推論出來。

程式碼已開放,重現前先檢查環境

儲存庫網址:

https://github.com/dbreunig/nesformer

依題目提供的原始素材,這個專案曾登上 Hacker News 首頁,獲得 61 分與 55 則留言。

這組數據顯示社群願意討論它,卻不代表專案已經過獨立驗證。開放儲存庫是必要條件,但不是重現成功的充分條件。

動手前先固定以下變數:

  1. 模型版本:不要只寫 Qwen,應記錄具體儲存庫、commit 與權重檔案。
  2. 量化方式:FP16、BF16、INT8 等不可混用。
  3. 推理框架:框架不同,記憶體占用與吞吐量可能相差甚多。
  4. 相依套件版本:遊戲環境、Python 與 CUDA 都要固定。
  5. NES 環境設定:ROM、動作映射、影格跳過與生命週期都可能改變結果。

若要進行 benchmark,建議把總耗時拆解為:

總延遲 = 畫面預處理 + 狀態壓縮 + 模型推理 + 動作解析 + 環境執行

同時記錄每局步數、有效遊戲影格數、非法動作次數與最終得分。否則,只展示「模型玩了幾分鐘」,很難判斷提升究竟來自模型、壓縮器,還是環境差異。

原始來源:

編輯觀點

NESformer 真正重要的,不是遊戲成績,而是把 LLM Agent 的互動鏈路變成一個可觀察、可除錯的小型沙盒。文字 Agent 通常止步於生成答案;它卻必須把回答轉換為動作,再接受環境回饋。畫面、狀態、動作與延遲都成了可檢查的變數,因此比聊天 demo 更接近真正的 Agent 工程。

不過,這與過去的遊戲 AI 不同。它沒有證明小型模型已學會穩定策略,也沒有證據顯示具備可靠的長期規劃;單憑專案摘要無法確認。我的判斷是,這類實驗的主要價值會落在評測、狀態壓縮與 Agent 控制介面,而非通關率。未來值得觀察的也不是「它會不會玩」,而是同一套觀察與動作介面能否移植到瀏覽器、桌面軟體與機器人任務中。

來源: https://github.com/dbreunig/nesformer