大規模言語モデル

DaisyRose-27B を実測評価:Agent への適用的是?

DaisyRose-27B はツール呼び出しと本番運用に十分対応できるのか。学習設計、Tool Calling の実測結果、GPU メモリコスト、オープンソース利用時の制約を検証します。

文字サイズ

RadixArk が公開した DaisyRose-27B は、Hacker News で 189 ポイントと 60 件のコメントを獲得しました。本稿ではランキングの再掲にとどまらず、Agent のツール呼び出しと運用コスト_supported できるかを検証します。

DaisyRose-27B 実測評価:27B モデルは Agent に適しているか

RadixArk がリリースした DaisyRose-27B は、270 億パラメータのモデルです。技術的な詳細はRadixArk 公式ブログで確認できます。Hacker News では188 ポイントと 60 件のコメントarisする投稿が_front page に掲載されました。

公式では、DaisyRose-27B が学習と推論の設計により、より高性能なモデルに近づいたと説明しています。ただし、その主張を分解して考える必要があります。どのようなタスクで近づいたのか、推論 Token は有多少必要か、ツール呼び出しは安定するか、実運用で並行リクエストを処理できるかが問われる点です。

Agent プロジェクトでは、これらはパラメータ数よりも重要な検討事項です。

27B の規模より重要なのは Agent 対応

パラメータ数が大きくなるほど、一般に GPU メモリ消費量和応答速度への影響が大きくなります。しかし、Agent の体験はモデルの大きさだけで決まるわけではありません。

天気、データベース、社内 API を呼び出すモデルは、次の四つの要件を満たす必要があります。

  • ツールの用途とパラメータ制約を理解する
  • 解析可能な JSON を出力する
  • ツールの結果に基づいて次の操作を決める
  • 長い対話の中で状態を保持し、過去のツール結果を新たな指示として扱わない

27B は 7B より複雑な指示にDwingoくなる可能性がありますが、単純な処理をより高コストにすることも考えられます。実際の基準は、レイテンシ、コンテキスト長、ツール呼び出し成功率のバランスを取れるかどうかです。

そのため、まず学習設計と post-training を確認し、次に公式スコアを参照し、最後に運用コストを洗い出します。

まず学習設計を分解し、スコアは後で確認する

公式ブログでは、DaisyRose-27B が学習と推論の設計によって高性能モデルに近づいたと主張しています。詳細な技術情報はRadixArk の原文を基準に確認する必要があります。

この種のモデルを検討фриivには、次の四つの観点で確認します。

  1. データの割合はどうか。コード、ツール呼び出しサンプル、汎用知識、推論データの配分はどうか。如果のように明確な開示がなければ。所谓 Agent 能力が学習で得られたのか、Prompt の効果なのかを判断するのは困難です。
  2. アーキテクチャに変更はあるか。Attention、位置符号化、MoE、KV Cache の設計は、長いコンテキストと推論速度に影響します。27B という数字だけを見てはいけません。
  3. Post-training では何が行われたか。SFT、RLHF、RLVR、rejection sampling のいずれかを利用したかを確認します。再現可能なツール呼び出しデータが存在すれば、総合ランキングのスコアより有用です。
  4. 推論設計は再現できるか。温度、最大出力長、推論モード、量子化方式、サンプルング条件はいずれも結果を左右します。

現在公開されている情報は、やや抽象的な段階にとどまっています。公式には学習と推論の設計によって高性能モデルに近づいたと主張されていますが、具体的な指標は元ブログと再現可能な結果から検証する必要があります。

ここがオープンソースモデル評価で、othermalにパッケージ化されやすい部分です。ランキングが示すのは特定の条件下での一回の実行結果であり、本番環境で必要となる安定性と同一とは限りません。

ランキングだけでなくツール呼び出しを実測する

以下のテストは、OpenAI 形式の Tool Calling API に対応したローカルモデルにそのまま組み込めます。まずパラメータ抽出を確認し、次に複数段階の呼び出しを検証します。

import json
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed",
)

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_order",
            "description": "根据订单号查询订单状态",
            "parameters": {
                "type": "object",
                "properties": {
                    "order_id": {
                        "type": "string",
                        "pattern": "^ORD-[0-9]{6}$",
                    }
                },
                "required": ["order_id"],
                "additionalProperties": False,
            },
        },
    }
]

messages = [
    {
        "role": "user",
        "content": "帮我查订单 ORD-123456 的状态。",
    }
]

response = client.chat.completions.create(
    model="DaisyRose-27B",
    messages=messages,
    tools=tools,
    tool_choice="required",
    temperature=0,
)

message = response.choices[0].message
if not message.tool_calls:
    raise RuntimeError("模型没有生成工具调用")

call = message.tool_calls[0]
arguments = json.loads(call.function.arguments)

if arguments.get("order_id") != "ORD-123456":
    raise ValueError(f"参数错误: {arguments}")

print({
    "name": call.function.name,
    "arguments": arguments,
})

記録すべきなのは「一度成功した」ことだけではありません。最低 100 回反復したテストにおけるパラメータ精度、JSON 解析失敗率、意味のない呼び出し率を測ります。

複数段階のタスクでは、二つ目のツールを追加できます。最初に注文情報を取得し、返金条件に応じて返金 API を呼び出す流れです。必要な工程を飛ばさないか、同じ呼び出しを繰り返さないか、ツールから異常が返ったときに停止できるかを確認します。

次のMOREなケースも組み込むべきです。

  • 注文番号の形式が不正な場合
  • ツールが候補となる二つの注文を同時に返す場合
  • API がタイムアウトまたは 429 を返す場合
  • 利用者がシステム制約を無視するよう求める場合
  • 会話内に古いツール結果が既に存在する場合

本番環境で最も重要なのは平均スコアではありません。Agent の停止、重複課金、不正な JSON の下流システムへの送信が発生した場合、その費用は数 Token の追加コストでは済みません。

運用コスト:27B は 7B より何 costingのか

27B モデルの運用コストは、パラメータ数だけで見積もれません。重みの精度、KV Cache、コンテキスト長、同時リクエスト数が、GPU メモリとスループットを左右します。

BF16 の重みだけで概算すると、次のようになります。

27B × 2 bytes ≈ 54 GB
7B × 2 bytes ≈ 14 GB

これにはランタイム、activation、KV Cache が含まれていません。実際に使用できる長さは、attention の実装、GPU 型号、推論フレームワークにも左右されます。

4-bit 量子化を使えば、27B の重みを約 13.5 GB、7B を約 3.5 GB に抑えられます。4-bit では 3.9 倍の差,尽管 Wren seen 的にはモデル品質の低下、量子化実装、メモリ帯域が実際のスループットに影響します。

運用時は、少なくとも次の四項目を測定することを推奨します。

  • 最初の Token までのレイテンシ
  • 1 秒あたりの出力 Token 数
  • 固定した同時実行数における総スループット
  • 32K またはそれ以上のコンテキスト長で必要なピーク GPU メモリ

DaisyRose-27B を選ぶ条件は比較的明確です。複雑な推論が必要で、ツールのパラメータ制約が難しく、誤った呼び出しのコストが高く、1 回のタスク価値が推論費用を賄える場合に適しています。

分類、要約、フィールド抽出、短い文章の書き換えだけなら、7B 級のモデルの方がOyilt,通常はよりreload{Mn-RL}漢字です。Agent のすべてのノードで 27B を使う必要はありません。小さなモデルに routing、意図認識、単純なツール選択を任せ、planning と例外からの復旧を大きなモデルに担当させる構成も考えられます。

オープンソースの openness が二次開発的价值を決める

モデルがプロジェクトに導入できるかどうかは、重みをダウンロードできるかどうかだけでは判断できません。コード、学習データの説明、ライセンスも確認する必要があります。

次の MQTT項目が揃っているかを確認します。

  • 推論コードと依存関係のロックファイル
  • 重みの入手方法とチェックサム
  • Tokenizer、Chat Template、ツール呼び出し形式
  • 学習データの説明とデータソースの記録
  • 商用利用、派生モデル、再配布に関する制限
  • セキュリティの baseline、既知の制約、更新方針

コードがなければ、運用は逆解析による適応作業になります。学習データの説明が欠けていれば、能力的境界を判断できません。ライセンスが商用利用を制限していれば、オープンソースの重みであっても商用利用が可能ですとは限りません。

Agent 開発では、安定した tool_calls インターフェースに対応しているかも確認します。公式に natively 対応している方が、プレーンテキストの JSON からツールを推測する方式より信頼できます。

LangGraph や MCP を使うフレームワークでは、adaptation レイヤーがモデルの出力を再解析しないかも確認が必要です。ツール protocol が十分に整備されていても、モデルがパラメータ形式を安定して出力できなければ、最終的には正規表現と retry で補完する仕組みが必要になります。

編集者の評価

DaisyRose-27B が注目に値するのは、Hacker News で 189 ポイントと 60 件のコメントが得られたことだけではありません。中規模モデルは「ローカルのテキスト生成ツール」から、Agent ワークフローに組み込める運用候補へと変化しつつあります。27B は複雑な planning に必要な余力を増やしますが、BF16 重みだけで 54 GB かかるため、すべての処理を任せる用途には適しません。

Agent ではモデル間の役割分担が進むと,形成了。7B 級が routing と繰り返しの呼び出しを担当し、27B が planning と例外処理を担う構成です。閉源代码の高性能モデルは、高価値で誤りが許容しにくい処理に残す形体 would be likely。実際の差はパラメータ数ではなく、ツール呼び出し成功率、量子化後の安定性、ライセンス、再現可能な評価にあると考えます。

今回の違いは、中規模モデルが、ダウンロードして試すだけでなく、実運用のワークフローでコスト проверки されるようになった点です。ただし、現時点では不確実な点が残ります。公式に示された効果が独立した hardware 上で安定して再現できるか、量子化によって長いコンテキストや構造化出力能力が低下するかを裏付ける公開データは不足しています。再現可能なテスト結果を確認できるまでは、PoC に留め、課金処理や書き込みを伴う chain には直接接続しない判断です。

出典: https://www.radixark.com/blog/daisyrose-27b