大型語言模型

DaisyRose-27B 實測:27B 級模型能胜任 Agent 嗎?

DaisyRose-27B 是否足以支援工具呼叫與正式環境部署?本文從訓練設計、Tool Calling 測試、記憶體成本與開源限制逐項檢視其 Agent 適用性。

字級

RadixArk 發布 DaisyRose-27B,在 HN 獲得 189 分與 60 則留言。本文不只重述榜單成績,而是實際檢視它能否支援 Agent 的工具呼叫,以及承擔部署成本。

DaisyRose-27B 實測解析:27B 級模型能勝任 Agent 嗎?

RadixArk 發布的 DaisyRose-27B 是一款 270 億參數模型。相關技術文章請見 RadixArk 官方部落格。該項目登上 Hacker News 首頁,獲得 189 分與 60 則留言,討論串可參閱 HN 原帖。

官方表示,DaisyRose-27B 透過訓練與推論設計,能力已逼近更強大的模型。但這項說法需要拆開檢視:逼近的是哪些任務?每次推論耗用多少 Token?工具呼叫能否穩定運作?部署後能否承受併發流量?

對 Agent 專案而言,這些問題比參數規模更重要。

27B 不是重點,能否適配 Agent 才是

參數越大,通常代表更高的記憶體占用與更慢的回應速度,但 Agent 的使用體驗並非只由模型大小決定。

一個能呼叫天氣、資料庫與企業內部 API 的模型,至少必須做好四件事:

  • 理解工具用途與參數限制;
  • 輸出可解析的 JSON;
  • 依據工具回傳結果決定下一步行動;
  • 在長對話中記住狀態,不將舊結果誤當成新指令。

27B 模型可能比 7B 更擅長處理複雜指令,但也可能讓簡單任務的成本過高。真正的門檻,是它能否在延遲、上下文長度與工具呼叫成功率之間取得平衡。

因此,評估時應先檢視訓練設計與後訓練,再看官方分數,最後才核對部署成本。

先拆解訓練設計,別急著看分數

官方部落格宣稱,DaisyRose-27B 透過訓練與推論設計,能力已逼近更強大的模型。完整技術說明應以 RadixArk 原文 為準。

評估這類模型時,可依下列四個問題逐一核對:

  1. 資料配比為何?程式碼、工具呼叫範例、通用知識與推理資料各占多少比例?如果缺乏足夠明確的說明,就難以判斷所謂的「Agent 能力」究竟來自訓練,還是仰賴 Prompt。
  2. 架構是否有變化?注意力機制、位置編碼、MoE 與 KV Cache 設計,都可能影響長上下文與推論速度,不能只看 27B 這個數字。
  3. 後訓練做了哪些工作?是否採用 SFT、RLHF、RLVR 或拒絕採樣?如果提供可重現的工具呼叫資料,其參考價值會高於單一綜合榜單分數。
  4. 推論設計能否重現?溫度、最大輸出長度、推論模式、量化方式與採樣參數,都可能改變結果。

目前公開資料提供的說明仍偏概括:官方宣稱透過訓練與推論設計逼近更強模型,但具體指標仍須搭配原始部落格與可重現結果查核。

這也是開源模型評測最容易被包裝的部分。榜單呈現的是特定條件下的一次執行結果,不一定等同於正式環境的穩定性。

用工具呼叫實測,不能只看排行榜

以下測試適用於任何支援 OpenAI 風格 Tool Calling API 的本機模型。先驗證參數擷取,再測試多步驟呼叫。

import json
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed",
)

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_order",
            "description": "根據訂單號查詢訂單狀態",
            "parameters": {
                "type": "object",
                "properties": {
                    "order_id": {
                        "type": "string",
                        "pattern": "^ORD-[0-9]{6}$",
                    }
                },
                "required": ["order_id"],
                "additionalProperties": False,
            },
        },
    }
]

messages = [
    {
        "role": "user",
        "content": "幫我查訂單 ORD-123456 的狀態。",
    }
]

response = client.chat.completions.create(
    model="DaisyRose-27B",
    messages=messages,
    tools=tools,
    tool_choice="required",
    temperature=0,
)

message = response.choices[0].message
if not message.tool_calls:
    raise RuntimeError("模型沒有產生工具呼叫")

call = message.tool_calls[0]
arguments = json.loads(call.function.arguments)

if arguments.get("order_id") != "ORD-123456":
    raise ValueError(f"參數錯誤: {arguments}")

print({
    "name": call.function.name,
    "arguments": arguments,
})

需要記錄的不只是「成功一次」,還包括至少 100 次重複測試中的參數正確率、JSON 解析失敗率,以及無意義呼叫率。

多步驟任務可再加入第二個工具:模型先查詢訂單,再依退款條件呼叫退款 API。觀察重點在於它是否略過必要步驟、重複呼叫,以及工具回傳異常後能否及時停止。

測試中也應加入幾種干擾情境:

  • 訂單號格式錯誤;
  • 工具同時回傳兩個候選訂單;
  • API 回傳逾時與 429;
  • 使用者要求忽略系統限制;
  • 對話中已出現一次舊的工具結果。

在正式環境中,平均分數並非最重要。Agent 卡死、重複扣款,或將錯誤 JSON 傳給下游系統,造成的成本遠高於多花幾個 Token。

部署成本:27B 比 7B 多付出什麼

27B 模型的部署成本不能只靠參數量估算。權重精度、KV Cache、上下文長度與併發請求數,會共同決定記憶體用量與吞吐量。

若以 BF16 權重粗略估算,單是權重便約需:

27B × 2 bytes ≈ 54 GB
7B × 2 bytes ≈ 14 GB

這尚未計入執行環境、啟動值與 KV Cache。實際可用長度還會受到 attention 實作、GPU 型號與推論框架影響。

若採用 4-bit 量化,27B 權重可壓縮至約 13.5 GB,7B 則約為 3.5 GB。4-bit 看起來相差 3.9 倍,但模型品質損失、量化實作與記憶體頻寬,都會影響實際吞吐量。

部署時建議至少測量四組數據:

  • 首 Token 延遲;
  • 每秒輸出 Token 數;
  • 固定併發量下的總吞吐量;
  • 上下文長度達 32K 或以上時的峰值記憶體用量。

採用 DaisyRose-27B 的條件相對明確:任務需要複雜推理、工具參數限制較難處理、錯誤呼叫代價高,而且單次任務價值足以涵蓋較高的推論費用。

若工作只是分類、摘要、欄位擷取或短文改寫,7B 級模型通常更划算。Agent 也不必每個節點都使用 27B。可讓小模型負責路由、意圖辨識與簡單工具選擇,再將規劃與異常復原交給大模型處理。

開放程度決定二次開發價值

模型能否納入專案,不只看權重能否下載,還要確認程式碼、訓練資料說明與授權條款是否完整。

評估時應檢查以下項目是否齊備:

  • 推論程式碼與相依套件鎖定檔案;
  • 權重下載方式與校驗值;
  • tokenizer、chat template 與工具呼叫格式;
  • 訓練資料說明與資料來源紀錄;
  • 商業使用、衍生模型與再散布限制;
  • 安全基準、已知限制與版本更新策略。

缺少程式碼,部署流程就會變成逆向適配;缺少訓練資料說明,便難以判斷能力邊界;若授權限制商業使用,開源權重也不代表能商用。

對 Agent 開發而言,還要確認模型是否支援穩定的 tool_calls 介面。官方原生支援通常比從純文字 JSON 中「猜測工具」更可靠。

如果框架採用 LangGraph 或 MCP,也需檢查適配層是否會再次解析模型輸出。即使工具協議設計完善,只要模型產生的參數格式不穩定,最後仍得靠正規表示式與重試機制兜底。

編輯觀察

DaisyRose-27B 值得關注,不只是因為它在 HN 獲得 189 分與 60 則留言。中型模型正從「本機文字生成器」轉變為可納入 Agent 工作流的部署選項。27B 為複雜規劃提供更多能力空間,但 54 GB 的 BF16 權重基線,也決定它不適合包辦所有節點。

我的判斷是,Agent 會繼續走向模型分工:7B 級模型處理路由與重複呼叫,27B 負責規劃與異常處理,閉源大型模型則留給高價值、低容錯環節。真正拉開差距的並非參數規模,而是工具呼叫成功率、量化後的穩定性、授權條款與可重現評測。

這次與過去不同之處,在於中型模型開始接受真實工作流的成本檢驗,而不只是下載後試玩。不過目前仍有不確定性:官方成果能否在不同硬體上穩定重現,以及量化後是否損害長上下文與結構化輸出能力,都缺乏公開證據。在取得可重複的測試結果前,我會先將它放進 PoC,不會直接接入計費或寫入操作的正式流程。

來源: https://www.radixark.com/blog/daisyrose-27b