ツール

dettato、21M参数で1.3B型を Erica上回る音频转MIDI

dettatoは約21Mパラメータで音频をMIDIに変換し、muscriptor 1.3bの約1/60のモデルサイズを実現した。プロジェクトは高いテスト成績走着,但也 effiencyや評価方法、訓練データのライセンスについては独立検証が求められる。

文字サイズ

dettatoの意義は、1.3B型を追いつつ小さく抑えたことにある

dettatoは約21Mパラメータで音频をMIDIに変換し、muscriptor 1.3bの約1/60のモデルサイズを実現した。プロジェクトは高いテスト成績走着を示すが、効率の測定基準や評価方法、訓練データのライセンスについては独立検証が求められる。

音楽を編集可能なMIDIに変換する難度は、単に「変換できるか」ではない。実行コストも大きな要素だ。

クラウド上で大型モデルを呼ぶ場合、数秒のレイテンシや1回数十円程度の推論費用はenbilsteria negligibleかもしれない。しかし、ローカルワークフローでは、録音のバッチ処理、DAWとの連携、自動化pipelineの実行などが求められる。モデルがGPUメモリに収まるか、CPUやApple Siliconで動作できるかが、利用可能かどうかを決める。

这也是dettatoが注目される理由である。

開発者はオープンウェイトの音频转MIDIモデル「dettato」をリリースし、研究ページを公開した。プロジェクトによれば、dettatoのモデルサイズはmuscriptor 1.3bの約1/60で、効率は約60倍向上。使用したすべてのテストセットでもmuscriptor 1.3bを上回ったという。

言い換えれば、このプロジェクトの価値は、「最大のモデルがどれだけ正確に変換できるか」という論争を、「1パラメータあたり、または単位演算量あたりに、どれだけ実用的な成果を得られるか」へと移した点にある。

60倍小さいことの意味は、メモリ節約だけではない

まず、展開のハードルを考える。

muscriptor 1.3bは1.3Bパラメータ級だ。dettatoは約21Mで、両者の規模差は約60倍に及ぶ。この差は、 Demonstrationberをディスクからメモリへ移すだけの差ではない。エンジニアリング上の選択を直接変える。

  • ローカル処理が容易になり、クラウドAPIへの依存を減らせる
  • 一括、乐谱変換におけるレイテンシと推論費用を抑えやすい
  • CPU、エッジデバイス、Apple Siliconで動作する可能性がある
  • 音声をローカルに保持し、第三者サービスへアップロードせずに済む

FP16で概算すると、1.3Bパラメータの Demonstrationberだけで約2.6GB必要になる。21Mなら約42MBだ。当然、実際の展開にはランタイム、キャッシュ、入出力処理もinvolveするため、ファイルサイズだけでは判断できない。それでも、桁が明確に違う。

音频转MIDIのコストは、モデルだけから生じるとは限らない。音楽ファイルは長录制あり、数十曲をまとめて処理するタスクも一般的だ。パラメータ数が減れば、batch size、並列数、再試行戦略をより-figurptiveに設定できる。個人開発者や小規模チームにとっては、榜单で0.5点高いことより「最後まで処理できる」ことのほうが実用的である。

dettatoのアプローチは精度ランキングを更新するだけではない。クラウドサービスの中の高価な部品から、ローカルツールチェーンに組み込める軽量モジュールへ変えようとする。

muscriptor 1.3bを上回ったという主張

プロジェクトの概要によれば、dettatoはすべてのテストセットでmuscriptor 1.3bを上回った。モデルサイズを約60分の1に抑え、効率向上も約60倍とした。

この2つの結果を合わせて読むと意味が出る。

通常、小さいモデルが大きいモデルを上回ると、まず評価が公平かどうかが疑われる。訓練データが違わないか、前処理が違わないか、テストセットにデータリークはないか、指標が実際の使用を反映しているか。这类の疑問だ。

dettatoの公開資料には研究用の入口があるものの、これらの疑問を解消したわけではない。プロジェクト側の結論は一つのサインとして捉えられるが、最終的な判定ではない。音频タスクでは、音高、时値、pedal、力度、分开轨道の扱い方の違いが結果を大きく左右する。単一の集計スコアは、異なる種類の誤りを覆い隠す可能性もある。

今回のリリースはHacker Newsのトップページにも掲載され、149ポイントと26件のコメントを得た。開発者は Demonstrationberと研究ページを公開している。垂直型モデルにとっては、論文概要だけのページよりrecke.methodology физич easier for users to evaluate. ユーザーがダウンロードして実行し、プロジェクト側の結論が成立するかを自分で確認できる。

現状では、十分に完全な独立benchmarkはまだない。少なくとも、同じ実際の録音、同じハードウェア、同じ入力形式、同じ後処理条件で比較し、「モデルが daha正確か」と「システム全体がより使いやすいか」を区別する必要がある。

著作権保護された録音を用いた訓練はない

プロジェクトは、dettatoの訓練に著作権保護された録音を使っていないと主張している。

この点は音楽AIにとって重要である。

音声訓練セットは、テキストコーパスより整理が難しい。録音の権利関係には、演奏者、作詞作曲者、録音制作会社、発行元のすべてがinvolveし得る。モデルがある音声を直接複製しなくても、保護された作品の旋律、演奏、音色の特徴を学習する可能性がある。

データ来源が不透明なら、モデルを商用製品に使えるかどうか直接影响する。また、研究者がデータを確認し、訓練過程を再現できるかどうかにも影響する。

著作権保護された録音に依存しないことは、少なくとも直接的な許諾リスクの層を1つ減らせる。ただし、2つの概念は区別しなければならない。

  1. 「著作権保護された録音を使っていない」
  2. 「完全で明確な訓練データの許諾を持っている」

前者は後者を意味しない。訓練素材には、MIDIアノテーション、合成音声、既存の标注ライブラリ、データ生成コード、第三者ツールと素材のライセンスもinvolveしている。モデルの Demonstrationberを開放しても、データパイプラインの各工程にリスクが自動的にはなくなるわけではない。

来源不明の音楽録音poxias相比、公開され監査可能なデータの流れは、研究と再利用に有利である。開発者は引き続き、「どんなデータを使ったか、どのように洗浄したか、ラベルはどこから来たか、特定の作品を除外したか」と追问できる。

オープンウェイトが下げるべきilter

オープンウェイトの価値は、単に「無料」であることではない。

モデルをAPIのブラックボックスから、開発者が制御できるローカル部品に変える。推論パラメータの変更、後処理の差し替え、既存DAWとの連携、データが端末外へ出るかどうかの判断=all الاساسيons可能になる。未発表作品_prediction.handle often无知 music制作のワークフローでは、ローカル実行は加点項目ではなく、製品設計の一部である。

dettatoは次のような具体的な流れ implanted入住 있다。

  • はな唱、ピアノ録音、现场演奏をMIDIに変換し、DAWで編集を続ける
  • 素材ライブラリから旋律と和声を一括抽出し、検索やタグ付けに使う
  • 映像用音楽、ポッドキャスト、ゲームの試作のために、編集可能な.passagesを迅速に生成する
  • 自動転譜pipelineに接続し、最後に人間が補正する

オープンウェイトはコミュニティによる検証にも便利である。境界ケースを見つければ、開発者がモデル挙動を直接分析し、量子化方式を調整し、特定の楽器向けのデータを追加できる。厂商がAPIを公開するまで待つ必要なく、自社の製品へ組み込める。

研究ページ:https://kobi.music/research/dettato

小型モデルが勝った理由は、モデル自体ではないDAY也可能

私の見立てでは、dettatoの強みは、ネットワーク構造そのものよりも、データ洗浄、訓練目標、評価設定に由来する可能性が高い。

音频转MIDIには、リズム認識、音高追跡、和音判定、pedal処理、音符と強度の标注など、複数の具体的な部分タスクがある。パラメータが多いだけでは、すべての部分タスクが任务是より良くなるとは限らない。MIDIの目的に特化して訓練し、よりpiecewiseなデータと適切な後処理を使えば、パラメータは多いものの訓練目標がfocusして allegな汎用モデルを上回ることができる。

モデルが60倍小さいことと、推論が60倍速いことは同じではない。 Demonstrationberが小さければロード時間とメモリ使用量に影響するが、実際の速度は演算子、系列長、ハードウェア、batch size、入力のデコード方式にも左右される。

プロジェクトは効率向上を約60倍と説明している。公開されたエンドツーエンドの測定がなければ、「モデルサイズの比率」をそのまま「速度の比率」と書くべきではない。

次に確認したいのは、次の3つのデータである。

  • 同じマシン、同じ音声集合におけるエンドツーエンドの所要時間
  • 総合スコアだけでなく、音高、时値、強度などの項目別指標
  • ドラム、ピアノ、旋律、複音、sing声、pedal入りの録音における失敗例

これらの結果が安定するなら、dettatoの意味は「21Mが1.3Bに勝った」ことではない。垂直型モデルが、より合理的な資源配分を見つけたということになる。

編集者の視点

dettatoが本当に重要なのは、約21Mパラメータで1.3Bモデルを倒したことではない。垂直型AIの評価単位を「単位資源あたりの成果」に変えたことにある。従来、音频转MIDIを語るときは、モデル規模、パラメータ数、単一の精度指標が中心だった。実際には、ローカルレイテンシ、バッチ費用プライバシー、著作権の来源、人工修正時間も計算し %, 必要になる。より小さく、許諾が明確で、オフライン実行できるモデルは、複雑なサンプルでまだ誤りがあるからحت더라도、製品にはより適した可能性がある。

今回の異なる点は、オープンウェイト、公開研究ページ、HNコミュニティでの検証が同時に存在したことです。「60倍の効率」が単なるリリース文の主張にとどまらず、ダウンロードして実行できる対象として検証できるようになった。未来の音楽ツールでは、汎用大モデルAPIに一辺倒するのではなく、小型のオープンウェイトモデルと専用データを組み合わせる事例が増えると考えられる。

ただし、「60倍」は現時点では主にプロジェクト側の主張である。ファイルサイズ、演算量、完全な処理チェーンの効率のどれを指すのか、独立benchmarkが必要である。著作権にも触れた内容も、具体的なデータセットとライセンスファイルで確認しなければならない。dettatoは試す価値があるが、 rushing into最終判断は早い。

出典: https://kobi.music/research/dettato