小模型不是新名词。真正变了的是:7B 已能处理部分生产任务,自部署的延迟和成本也更容易算清。本文给出一套迁移判断标准。
小模型为什么现在值得关注
Hacker News 上的文章 《Small Models Have Arrived》 引发了不少讨论。原文没有统一界定“小模型”:有人指 7B,也有人把 13B 算进去。
争议可以先放一边。生产团队更关心三个问题:
- 7B 能否稳定完成任务?
- 本地部署能否降低延迟和成本?
- 哪些任务不该迁移?
答案不是简单的“能”或“不能”。它取决于任务边界、输出约束,以及准确率损失。
能力和部署成本要看同一张表
公开的常见结论是:Qwen2.5-7B-Instruct、Llama 3.1-8B 等模型已能覆盖不少轻量任务。但原文没有为所有模型提供统一的生产数据。下文涉及的 RTX 4090、vLLM 0.6.3、AWQ、HumanEval 子集和测试成绩,均需要补充原始测试记录;当前材料无法证明这些数字来自作者的独立复现。
因此,7B 项目应先记录四类数据:
- 任务准确率与人工评分
- 首 token 延迟和平均耗时
- GPU 利用率、显存占用与并发数
- 每百万 token 的完整成本
只看每秒 token 数,容易漏掉并发和失败重试。只看模型价格,也容易漏掉运维成本。
用任务边界决定是否迁移
可以直接采用下面的筛选规则:
- 任务定义清晰,输出格式固定。 客服 FAQ、文本清洗、文档分类、实体提取和商品标签生成,通常适合从大模型切换到 7B。
- 任务需要复杂推理或多步规划。 数学证明、复杂代码修改和长链 Agent 工作流,应先做 A/B 测试。
- 延迟或调用量是硬约束。 实时交互、批量离线处理和高并发分类,可以优先评估本地部署。
- 准确率要求超过当前实测水平。 不要因为模型参数小,就跳过业务验收。
迁移前至少准备 200 条真实样本。测试集要覆盖正常输入、边界情况、敏感内容和失败案例。然后比较准确率、人工返工率、P95 延迟和每千次任务成本。
上线时也不要一次切换全部流量。可以先切 5%,观察 24 小时;再切到 25%,确认异常率和人工复核量没有同步上升。
小模型回归意味着什么
小模型再次进入生产视野,不只是因为参数规模变了。模型能力、量化方法、Apple Silicon、vLLM 等推理框架和云端 API 定价同时变化。单项进步有限,组合起来才改变了部署账本。
我的判断是,未来 12 个月,企业会增加“任务分层”:高频、结构化任务交给本地小模型,复杂推理继续调用云端大模型。这个趋势更像工程优化,而不是一次模型能力跃迁。
它和过去不同。过去常见的是单个新模型刷新榜单,然后团队重新评估全部任务。现在更常见的是模型、硬件、框架和量化工具一起成熟,企业可以按任务计算成本。
不确定性也很明确:目前给出的实测数字、vLLM 版本、HumanEval 子集结果和自部署成本,没有可核验的原始素材支持。我没有找到公开 benchmark 证明 7B 在长上下文、多步 Agent 任务中已经稳定达到文中结论。涉及这些场景时,应以企业内部 A/B 测试为准,而不是直接照搬参数。