工具

dettato 以 21M 參數挑戰 1.3B 音訊轉 MIDI 模型

dettato 以約 21M 參數完成音訊轉 MIDI,模型體積僅約 muscriptor 1.3b 的六十分之一,專案宣稱測試成績亦領先。不過,測試方法、效率數據與訓練素材仍需第三方獨立驗證。

字級

dettato 以約 21M 參數完成音訊轉 MIDI,模型體積約為 muscriptor 1.3b 的六十分之一。本文分析其工程價值、評測疑點與版權風險。

將音樂轉成可編輯的 MIDI,難點不只在於「能不能轉」,還包括執行成本。

呼叫雲端大型模型時,數秒延遲與每次幾毛錢的推論費用可能不算什麼。但在本機工作流程中,使用者往往需要批次處理錄音、串接 DAW 或執行自動化 pipeline;模型能否放進顯示記憶體、能否利用 CPU 或 Apple Silicon,才決定它是否真正可用。

這也是 dettato 值得關注的原因。

開發者發布了開放權重的音訊轉 MIDI 模型 dettato,並公開了研究頁面。專案表示,dettato 的模型體積約為 muscriptor 1.3b 的六十分之一,效率提升約 60 倍;在專案採用的所有測試集上,成績也超越 muscriptor 1.3b。

換句話說,這個專案將討論焦點從「最大模型能轉得多準」,轉向「每個參數與每單位算力能換來多少可用結果」。

小 60 倍,節省的不只是顯示記憶體

先看部署門檻。

muscriptor 1.3b 屬於 1.3B 參數等級,dettato 則約為 21M,兩者相差接近 60 倍。這種差距並非只是把權重從硬碟搬進顯示記憶體那麼簡單,而會直接改變工程選項:

  • 本機處理更容易,不必依賴雲端 API;
  • 批次轉譜時,延遲與推論費用更容易控制;
  • 在 CPU、邊緣裝置或 Apple Silicon 上執行的可能性更高;
  • 開發者更容易在本機保留音訊,不必上傳第三方服務。

若以 FP16 粗略估算,1.3B 參數僅權重就需要約 2.6GB;21M 參數則約為 42MB。實際部署當然還涉及執行環境、快取與輸入輸出處理,不能只看檔案大小,但數量級差異已經十分明顯。

音訊轉 MIDI 的成本往往不只來自模型。音樂檔案可能很長,單次任務也可能處理數十首曲目。參數量縮小後,batch size、並行數與重試策略都能採更積極的設定。對個人開發者或小型團隊而言,「能完整跑完」比「排行榜多 0.5 分」更實際。

dettato 的路线不只刷新精度排行,也試圖將模型從雲端服務中的高成本元件,變成能嵌入本機工具鏈的輕量模組。

超越 muscriptor 1.3b

依專案摘要,dettato 在所有測試集上的表現都優於 muscriptor 1.3b。專案同時將模型體積縮小約 60 倍,並將效率提升描述為約 60 倍。

兩項結果放在一起看,才更值得玩味。

通常看到小模型超越大型模型,第一個念頭都是評測是否公平:訓練資料是否相同?前處理是否相同?測試集是否遭到資料洩漏?指標能否代表真實使用情境?

dettato 公開的資料提供了研究入口,卻未消除這些疑問。專案方的結論可以視為一個訊號,不能直接當成最終定論。尤其在音訊任務中,音高、時值、踏板、力度與分軌方式都會顯著影響結果,單一彙總分數也可能掩蓋不同類型的錯誤。

這次發布登上 Hacker News 首頁,獲得 149 分與 26 則留言。開發者也公開了模型權重與研究頁面。對垂直模型而言,這種發布方式比只有論文摘要的頁面更有用,使用者可以下載、執行,再檢驗專案方的結論是否成立。

目前仍缺乏足夠完整的獨立 benchmark。至少需要使用同一批真實錄音,在相同硬體、相同輸入格式與相同後處理條件下比較,才能區分「模型更準」與「整套系統更好用」。

未使用受版權保護的錄音訓練

專案表示,dettato 的訓練過程未使用受版權保護的錄音。

這一點對音樂 AI 很重要。

音訊訓練集通常比文字語料更難整理。錄音的權利鏈可能涉及表演者、詞曲作者、錄音製作方與發行方。即使模型沒有直接複製某段音訊,也可能從受保護作品中學習到旋律、演奏或音色特徵。

資料來源不透明,會直接影響模型能否用於商業產品,也會影響研究者能否檢查資料並重現訓練過程。

不依賴受版權保護的錄音,至少能減少一層直接的授權風險,但必須區分兩個概念:

  1. 「未使用受版權保護的錄音」;
  2. 「擁有完整且清楚的訓練資料授權」。

前者不等於後者。訓練素材還可能涉及 MIDI 標註、合成音訊、既有標註資料庫、資料生成程式碼,以及第三方工具與素材的授權。模型權限可以開放,也不代表資料管線的每個環節都自動沒有風險。

相較於來源不明的音樂錄音,公開且可稽核的資料流程更有利於研究與再利用。開發者能繼續追問:使用了哪些資料、如何清洗、標註從何而來,以及是否排除特定作品。

開放權重能降低哪些門檻

開放權重的價值並非單純「免費」。

它將模型從 API 黑箱變成開發者可控制的本機元件。使用者能調整推論參數、替換後處理、串接既有 DAW,也能決定資料是否離開本機。對經常涉及未發行作品的音樂製作流程而言,本機執行不是加分項,而是產品設計的一部分。

dettato 可以進入幾類具體工作流程:

  • 將哼唱、鋼琴錄音或現場演奏轉成 MIDI,交由 DAW 繼續編輯;
  • 在素材庫中批次擷取旋律與和聲,用於檢索或標記;
  • 為影片配樂、Podcast 與遊戲原型快速產生可編輯片段;
  • 接入自動轉譜 pipeline,再交由人工校正。

開放權重也有利於社群驗證。發現邊界案例後,開發者能直接分析模型行為、調整量化方式,或針對特定樂器補充資料,不必等待廠商開放 API 才能整合進自己的產品。

研究頁面:https://kobi.music/research/dettato

小模型勝出,功臣可能不是模型架構

我的判斷是,dettato 的優勢可能更多來自資料清洗、訓練目標與評測設定,而非網路結構本身。

音訊轉 MIDI 包含多個具體子任務:節奏辨識、音高追蹤、和弦判斷、踏板處理,以及音符與力度標註。參數較多,不代表每項子任務都處理得更好。小模型若針對 MIDI 目標訓練,搭配更乾淨的資料與更合適的後處理,可能勝過參數更多、但訓練目標較不聚焦的通用模型。

模型小 60 倍與推論快 60 倍並不是同一件事。權重體積縮小會影響載入時間與記憶體占用,但實際速度還取決於運算子、序列長度、硬體、batch size 與輸入解碼方式。

專案將效率提升描述為約 60 倍。若沒有公開端到端量測,就不宜將「體積比」直接寫成「速度比」。

接下來可觀察三組數據:

  • 在同一台機器、同一批音訊上的端到端耗時;
  • 音高、時值、力度等分項指標,而非只看總分;
  • 鼓、鋼琴、旋律、複調、人聲與帶踏板錄音的失敗案例。

若這些結果穩定,dettato 的意義就不只是「21M 擊敗 1.3B」,而是垂直模型找到了更合理的資源配置方式。

編輯觀察

dettato 真正重要的地方,不是以約 21M 參數擊敗 1.3B 模型,而是將垂直 AI 的衡量單位改為「單位資源產出」。過去討論音訊轉 MIDI,重點多放在模型大小、參數量與單點精度;真正落地時,還得計算本機延遲、批次成本、隱私、版權來源與人工修訂時間。一個更小、授權更清楚、能離線執行的模型,即使複雜樣本仍會出錯,也可能更適合實際產品。

這次的不同之處,在於開放權重、公開研究頁面與 HN 社群驗證同時出現,讓「60 倍效率」不只是發布文章中的說法,也有一個可下載、可執行的專案可供檢驗。我的預測是,未來音樂工具會更多採用小型開放模型搭配專用資料,而非一味依賴通用大型模型 API。

不過,60 倍目前主要仍是專案方的說法。它究竟指檔案體積、算力,還是完整鏈路的效率,需要獨立 benchmark 驗證;版權友善也必須落實到具體資料集與授權文件。dettato 值得試用,但還不該急於下定論。

來源: https://kobi.music/research/dettato