框架

OpenAI 測試低資源程式語言:AI 能否可靠完成程式碼補全與改造

OpenAI 評估模型在低資源程式語言上的程式碼生成與理解能力。這類模型較现实的初期用途,是協助局部改造難以重寫的遗留系統,但要實現可靠的自動遷移仍需更多配套工具與驗證機制。

字級

OpenAI 發布低資源程式語言研究,測試模型能否理解並生成相關程式碼。這項能力牽涉企業能否有效輔助改造與維護成本高昂的遗留系統,意義不只限於補全冷門語法。

原文:Advanced coding in low-resource programming languages

低資源不等於使用者少

這裡的「低資源」是指模型可用的訓練資料、文件與測試資料較少,不代表該語言的使用人數一定不多。

常見缺口有三類:

  • 公開程式碼有限。GitHub 上的專案、版本與框架組合數量不多。
  • 文件零散。老式編譯器手冊、廠商 FAQ 與舊郵件難以集中取得。
  • 標準測試集不足。缺乏像 Python pytest 生態系那樣穩定的公開基準。

因此,模型產生的程式碼可能符合語法,卻無法在目標工具鏈中編譯。

不同語言的限制也不盡相同。COBOL 方言、PLC 指令集或廠商專用語言,可能涉及固定欄位配置、資料段規則、編譯器差異,以及記憶體與暫存器限制。

所以,從「能補全語法」到「能交付可運作程式」,中間還有編譯、執行、測試與部署等多道關卡。

程式碼生成必須納入回饋循環

低資源語言的程式碼生成,不能只看模型一次輸出多少程式碼。較可靠的流程是:

  1. 讀取舊程式碼與介面。
  2. 檢索目標語言及裝置文件。
  3. 產生修改方案。
  4. 呼叫編譯器並執行測試。
  5. 依錯誤資訊持續修正。

關鍵在於執行後的回饋。如果沒有編譯器、測試環境與裝置模擬器,模型只能憑推測嘗試。

以下程式碼只能進行 Python 語法檢查:

from pathlib import Path
import subprocess

source = Path("candidate.py")

result = subprocess.run(
    ["python", "-m", "py_compile", str(source)],
    capture_output=True,
    text=True,
)

if result.returncode != 0:
    print(result.stderr)
    raise SystemExit(result.returncode)

print("compile passed")

對真實專案而言,這只是最低門檻。還需加入 lint、單元測試、整合測試、安全掃描與回復驗證。

Agent 可能先用在局部改造

部分低資源語言恰好存在於難以輕易重寫的系統,例如:

  • 工業控制設備內的 PLC 與專用控制程式碼。
  • 銀行、保險與電信系統中的老舊核心模組。
  • 醫療設備中的韌體與介面程式。
  • 航空、汽車與製造設備內的嵌入式軟體。
  • 已運作多年,文件散落於 PDF 與舊郵件中的內部系統。

這些系統的主要成本來自維護與替換風險,而非程式碼規模。即使改錯一個欄位對應或協議分支,都可能影響裝置運作。

AI Agent 的潛在用途,是讀取程式庫、檢索文件、呼叫編譯器、執行測試,再依失敗結果修改檔案。它適合先處理範圍明確的小型任務,不適合直接接管生產系統。

上線前,企業至少必須回答以下問題:

  • 模型能否存取敏感程式庫與生產環境設定?
  • 測試環境能否涵蓋真實裝置的行為?
  • 生成的程式碼是否通過安全與合規審查?
  • 修改失敗時能否回復?

若這些問題沒有答案,自動遷移與其說是生產方案,不如說更接近概念驗證。

評測應記錄可驗證的結果

原文沒有提供本次 Hacker News 討論頁面的資料,因此不應引用未經原始頁面核實的 points 或留言數量。

低資源語言的評測也不能停留在文字相似度。更具實質意義的結果包括:

評測項目 檢查內容
compile 目標工具鏈能否接受程式碼
test 程式行為是否符合預期
lint 是否違反語言或專案規範
security scan 是否引入已知漏洞
dependency check 相依套件是否可用,是否存在已知的供應鏈風險
deploy dry-run 能否進入目標執行環境

評測還需納入人工整理的領域規則,例如 PLC 的 I/O 對應、嵌入式目標的記憶體限制,以及固定欄寬等約束。這些規則不能只存在於提示詞中。

評測結果也應區分模型首次生成是否通過,以及 Agent 經過編譯、測試與多次修正後是否通過。前者衡量的是程式碼生成能力,後者則更接近實際的軟體工程 Agent。

編輯觀點

這項研究的價值在於,將程式碼模型的能力邊界推向遗留系統。低資源語言的使用者往往不多,但相關裝置、協議與業務維護成本卻很高。一次局部遷移是否成功,可能直接影響生產線或業務連續性。

我的判斷是,近期較有效的做法並非讓單一模型獨立接管專案,而是將文件檢索、編譯器、測試環境與領域規則接入 Agent。模型負責提出修改,工具提供回饋,工程師則守住裝置與安全邊界。這比單純依據支援的語言數量來評估覆蓋能力更實用。

這也與過去的軟體生成示範不同:以往主要觀察單段程式碼看起來是否合理,如今則必須驗證程式能否編譯、測試與部署。不過,原始研究能否涵蓋真實企業環境,目前仍無法確定。尤其是測試資料、工具鏈版本與裝置差異,仍須由企業自行補足。

來源: https://openai.com/index/low-resource-programming-languages/