RadixArk가 공개한 DaisyRose-27B는 270억 파라미터급 모델이다. Hacker News(HN) 메인 페이지에서 189점과 60개의 댓글을 얻었다. 단순히 순위표만 되짚는 대신, Agent의 도구 호출과 배포 비용을 감당할 수 있는지 살펴본다.
DaisyRose-27B 실전 분석: 27B 모델은 Agent에 적합한가
RadixArk가 공개한 DaisyRose-27B는 270억 파라미터급 모델이다. 관련 기술 내용은 RadixArk 공식 블로그에서 확인할 수 있다. HN 메인 페이지에 올라 模型条目가 189점과 60개의 댓글을 얻었고, 논의는 HN 원帖에서 이어졌다.
RadixArk는 DaisyRose-27B가 학습과 inference 설계를 통해 더 powerful한 모델에 근접했다고 сез명했다. 하지만 가까운 것은 어떤 작업에서이며, 몇 Token의 inference가 필요한지, 도구 호출이 안정적인지, 배포 후 동시 요청을 감당할 수 있는지는 따로 확인해야 한다.
Agent 프로젝트에서는 이런 질문이 파라미터 규모보다 중요하다.
27B보다 중요한 것은 Agent 적합성
파라미터가 클수록 일반적으로 VRAM 사용량과 응답 속도 부담이 커진다. 반면 Agent의 성능은 모델 크기만으로 결정되지 않는다.
날씨, 데이터베이스, 기업 내부 API를 호출하는 모델은 다음 네 가지를 정확히 수행해야 한다.
- 도구의 용도와 파라미터 제약을 이해한다.
- 파싱 가능한 JSON을 출력한다.
- 도구 반환값을 바탕으로 다음 단계를 결정한다.
- 긴 대화에서 상태를 유지하며 이전 결과를 새로운 명령으로 오해하지 않는다.
27B 모델이 7B보다 복잡한 명령을 더 잘 처리할 수도 있지만, 간단한 작업에 드는 비용까지 커질 수 있다. 핵심 기준은 지연 시간, 컨텍스트 길이, 도구 호출 성공률 사이에서 균형을 잡을 수 있는지다.
따라서 먼저 학습 설계와 후학습을 살펴본 뒤 공식 수치를 확인하고, 마지막으로 배포 비용을 따져 보는 편이 낫다.
순위보다 학습 설계를 먼저 분석한다
RadixArk의 공식 블로그는 DaisyRose-27B가 학습과 inference 설계를 통해 더 powerful한 모델에 근접했다고 주장한다. 전체 기술 설명은 RadixArk 원문을 기준으로 확인해야 한다.
这类 모델을 볼 때는 다음 네 가지 질문으로 검증한다.
- 데이터 구성은 무엇인가? 코드, 도구 호출 샘플, 일반 지식, 추론 데이터가 각각 얼마나 차지하는지 확인한다. 구체적인 설명이 부족하면所谓된 ‘Agent 능력’이 학습에서 나온 것인지 Prompt에서 나온 것인지 판단하기 어렵다.
- 아키텍처는 변경됐는가? attention 방식, 위치 인코딩, MoE, KV Cache 설계는 긴 컨텍스트와 추론 속도에 영향을 줄 수 있다. 27B라는 숫자만으로 판단할 수는 없다.
- 후학습에는 무엇이 사용됐는가? SFT, RLHF, RLVR, rejection sampling 적용 여부를 확인한다. 재현 가능한 도구 호출 데이터가 있다면 종합 순위 점수보다 참고 가치가 크다.
- inference 설계를 재현할 수 있는가? temperature, 최대 출력 길이, reasoning mode, 양자화 방식, sampling 파라미터에 따라 결과가 달라진다.
현재 공개된 자료의 설명은 여전히 거시적인 수준에 머문다. 공식적으로는 학습과 inference 설계를 통해 더 powerful한 모델에 근접했다고 주장하지만, 구체적인 지표는 원문 블로그와 재현 가능한 결과를 함께 확인해야 검증할 수 있다.
이 부분은 오픈소스 모델 평가에서 가장 쉽게 포장되기 쉽다. 순위표가 보여 주는 것은 특정 조건에서 한 번 실행한 결과일 뿐이며, production에서의 안정성과 같다고 보장할 수는 없다.
순위표 대신 도구 호출로 직접 검증한다
아래 테스트는 OpenAI 스타일 Tool Calling API를 지원하는 모든 로컬 모델에 적용할 수 있다. 먼저 파라미터 추출을 확인한 뒤 여러 단계로 걸친 호출을 검증한다.
import json
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed",
)
tools = [
{
"type": "function",
"function": {
"name": "get_order",
"description": "根据订单号查询订单状态",
"parameters": {
"type": "object",
"properties": {
"order_id": {
"type": "string",
"pattern": "^ORD-[0-9]{6}$",
}
},
"required": ["order_id"],
"additionalProperties": False,
},
},
}
]
messages = [
{
"role": "user",
"content": "帮我查订单 ORD-123456 的状态。",
}
]
response = client.chat.completions.create(
model="DaisyRose-27B",
messages=messages,
tools=tools,
tool_choice="required",
temperature=0,
)
message = response.choices[0].message
if not message.tool_calls:
raise RuntimeError("模型没有生成工具调用")
call = message.tool_calls[0]
arguments = json.loads(call.function.arguments)
if arguments.get("order_id") != "ORD-123456":
raise ValueError(f"参数错误: {arguments}")
print({
"name": call.function.name,
"arguments": arguments,
})
기록해야 할 것은 ‘한 번 성공했다’는 사실이 아니다. 최소 100회 반복 테스트에서 파라미터 정확률, JSON 파싱 실패율, 의미 없는 호출률을 측정해야 한다.
여러 단계로 걸친 작업에서는 두 번째 도구를 추가할 수 있다. 모델이 먼저 주문을 조회한 뒤 환불 조건에 따라 환불 API를 호출하게 한다. 필요한 단계를 건너뛰는지, 같은 호출을 반복하는지, 도구에서 이상이 발생했을 때 중단할 수 있는지를 중점적으로 확인한다.
다음과 같은 함정도 함께 넣어야 한다.
- 잘못된 주문 번호 형식
- 도구가 후보 주문 두 건을 동시에 반환하는 상황
- API의 timeout 및 429 응답
- 사용자가 시스템 제약을 무시하라고 요구하는 상황
- 대화에 이전 도구 결과가 이미 포함된 상황
production 환경에서 평균 점수는 가장 중요하지 않다. Agent가 멈추거나 중복 결제를 일으키거나 잘못된 JSON을 downstream 시스템에 전달하는 비용은 Token을 몇 개 더 쓰는 것보다 훨씬 크다.
배포 비용: 27B가 7B보다 더 드는 것
27B 모델의 배포 비용은 파라미터 수만으로 계산할 수 없다. 가중치 정밀도, KV Cache, 컨텍스트 길이, 동시 요청 수가 함께 VRAM과 처리량을 결정한다.
BF16 가중치로 대략 계산하면 가중치만 다음과 같다.
27B × 2 bytes ≈ 54 GB
7B × 2 bytes ≈ 14 GB
여기에 runtime, activation, KV Cache는 아직 포함되지 않았다. 실제로 사용할 수 있는 길이는 attention 구현, GPU 모델, inference 프레임워크에도 영향을 받는다.
4-bit 양자화를 적용하면 27B 가중치는 약 13.5 GB, 7B는 약 3.5 GB로 줄일 수 있다.表面上 3.9배 차이가 나지만, 실제 처리량에는 모델 품질 손실, 양자화 구현, 메모리 bandwidth가 함께 영향을 미친다.
배포 시에는 최소한 네 가지 항목을 측정하는 편이 좋다.
- 첫 Token까지의 지연 시간
- 초당 출력 Token 수
- 고정된 동시 요청 수에서 측정한 전체 처리량
- 32K 이상의 컨텍스트를 처리할 때의 최대 VRAM 사용량
DaisyRose-27B를 선택하기 적합한 조건은 비교적 명확하다. 복잡한 추론이 필요하고, 도구 파라미터 제약이 까다롭고, 잘못된 호출의 비용이 높으며, 하나의 작업에서 발생하는 가치가 더 큰 inference 비용을 감당할 수 있어야 한다.
분류, 요약, 필드 추출, 짧은 텍스트 수정만 필요하다면 7B급 모델이 일반적으로 더 경제적이다. Agent의 모든 노드에서 27B를 사용할 필요도 없다. 소형 모델이 routing, intent recognition, 간단한 도구 선택을 담당하고, planning과 예외 복원은 대형 모델에 맡기는 방식이 가능하다.
공개 범위가 이차 개발 가치를 결정한다
모델을 프로젝트에 도입할 수 있는지는 가중치를 다운로드할 수 있는지만으로 결정되지 않는다. 코드, 학습 데이터 설명, 라이선스도 함께 살펴야 한다.
다음 항목이 갖춰져 있는지 확인한다.
- inference 코드와 의존성 lock 파일
- 가중치 다운로드 방식과 checksum
- tokenizer, chat template, 도구 호출 형식
- 학습 데이터 설명과 데이터 출처 기록
- 상업 사용, 파생 모델, 재배포 제한
- 안전 기준, 알려진 한계, 버전 업데이트 정책
코드가 없으면 배포 과정이 역방향 적응 작업으로 바뀐다. 학습 데이터 설명이 없으면 능력의 경계를 판단하기 어렵다. 라이선스가 상업 사용을 제한한다면 오픈소스 가중치를 공개했다는 사실만으로 상업적으로 이용할 수 있는 것은 아니다.
Agent 개발에서는 안정적인 tool_calls 인터페이스를 지원하는지도 별도로 확인해야 한다. 공식적인 native 지원은 순수 텍스트 JSON에서 도구를 ‘추측’하는 방식보다 신뢰할 수 있다.
프레임워크가 LangGraph나 MCP를 사용한다면 adapter 계층이 모델 출력을 다시 파싱하는지도 점검해야 한다. 도구 프로토콜이 아무리 완전해도 모델의 파라미터 형식이 불안정하면 결국 정규식과 retry로 보완해야 한다.
편집자 관점
DaisyRose-27B가 주목할 만한 이유는 HN에서 189점과 60개의 댓글을 얻었다는 것만은 아니다. 중형 모델이 ‘로컬 텍스트 생성기’에서 Agent workflow에 투입할 수 있는 deployment 후보로 바뀌고 있다는 점이다. 27B는 복잡한 planning에 더 많은 능력을 제공할 여지를 남지만, BF16 가중치만 54 GB라는 기준선 때문에 모든 노드를 담당하기에는 적합하지 않다.
Agent는 모델 역할 분담 방향으로 계속 발전할 가능성이 크다. 7B급 모델이 routing과 반복 호출을 처리하고, 27B가 planning과 예외 상황에 대응하며, 고부가가치·저오차 업무에는 closed source 대형 모델을 배정하는 구조가 될 수 있다. 실제 격차를 만드는 것은 파라미터 규모가 아니라 도구 호출 성공률, 양자화 후 안정성, 라이선스, 재현 가능한 평가다.
이번에는 중형 모델이 다운로드 후 성능을 확인하는 수준을 넘어 실제 workflow의 비용을 감당할 수 있는지 검증되기 시작했다. 다만 공식 주장과 관련된 이득을 독립적인 하드웨어에서 안정적으로 재현할 수 있는지, 양자화 후 긴 컨텍스트와 구조화된 출력 능력이 얼마나 유지되는지는 아직 공개된 근거가 부족하다. 반복 가능한 테스트 결과를 확인하기 전에는 PoC 단계에서 활용하고, 과금이나 쓰기 작업이 발생하는 production 경로에는 바로 연결하지 않는 편이 낫다.