大模型

腾讯 Hy4 深度解析:重做架构后还能复现吗

Hy4 登上 Hacker News 首页,但官方摘要没有披露参数、代码、权重和评测数据。这篇文章拆解模型发布应有的复现清单,并说明腾讯接下来需要公开什么。

字号

Hy4 相关内容登上 Hacker News 首页,记录为 99 points、29 条评论。热度不是技术结论。要判断腾讯这次重做架构的价值,还得看训练、推理、代码和权重能否复现。

腾讯发布 Hy4 模型研究,官方页面是 hy.tencent.ai/research/hy4。现有新闻摘要没有给出参数规模、训练数据、benchmark 数字、代码仓库或模型权重信息。

我先划清边界:目前能核实的是 Hy4 研究页面及其 Hacker News 条目。官方页面没有公开的信息,不能靠社区猜测补齐。本文要检查的不是给模型排座次,而是它提出了什么问题,又给出了哪些可验证的答案。

Hy4 登上首页,但官方摘要还缺什么

开发者通常先问三件事:多大,怎么训,分数多少。

Hy4 目前的公开摘要缺少这些关键答案:

  • 参数规模,以及是否为稠密模型或 MoE 模型;
  • 训练数据组成、数据量和数据截止时间;
  • benchmark 数字、评测设置与复现脚本;
  • 上下文长度和实际长上下文表现;
  • 推理吞吐、硬件配置与部署要求;
  • 模型权重、代码和许可证。

这不是吹毛求疵。

同样叫“70B”,训练 token 数、激活参数、序列长度和推理框架不同,部署成本可能差几倍。同样报一个 benchmark,prompt、few-shot 示例、解码参数和采样器也可能改变结果。

因此,Hy4 的第一步不该是解释“为何重做架构”,而应该是解释“这次到底重做了什么”。没有具体结构和训练证据,“重做架构”很容易变成宣传词。

拆 Hy4:重点不在参数,而在信息流

LLM 的信息流可以先简化成一条链:

输入 tokens → 表示与位置处理 → 计算层 → 输出概率 → 解码 → 下一轮输入

架构变化通常不只是替换一个模块,还会改变整条链上的信息流动方式。

第一处要看上下文处理。

长上下文能力至少涉及三件事:模型能否接收长输入,注意力或状态机制能否保留远距离信息,生成时能否稳定使用前面的内容。只把最大上下文窗口写成 128K、256K 或 1M,并不能回答这些问题。

需要看的测试包括长文档检索、多跳推理、跨段落约束和上下文外幻觉。模型即使能吞下整本书,也不代表能准确找到书里某段话。

第二处要看推理路径。

如果 Hy4 改变了层间连接、状态更新、注意力计算或信息压缩方式,就应该披露结构图、张量形状和参数分配。开发者需要的是能对应到实现的细节。

第三处要看训练目标。

同样的架构,用预训练、蒸馏、监督微调和偏好优化训练,最终行为可能完全不同。只比较最终权重,不看训练路径,很难判断收益来自架构,还是来自更多数据与更长的后训练。

第四处要看推理路径。

更深的网络可能提高能力,也会增加显存访问和通信开销。若 Hy4 引入稀疏计算、状态更新、分层缓存或其他机制,则至少要回答:

  • 每 token 的计算量增加还是下降;
  • KV cache 占用如何变化;
  • 批处理和并发吞吐是否受影响;
  • 量化后能否保持质量;
  • 在 vLLM、SGLang 或 TensorRT-LLM 上能否部署。

架构创新的价值,最终要落到 token 成本和延迟,而不是只落在参数量上。

性能之外,还要算四笔账

开源模型常被当成一张排行榜。实际上,至少有四笔账。

第一笔是训练成本。

训练成本不只看 GPU 小时,还要看数据清洗、失败实验、并行策略和检查点开销。MoE 可以降低每个 token 的激活计算量,却会增加路由、负载均衡和部署复杂度。Dense 模型结构简单,但每次推理要计算全部参数。

第二笔是推理成本。

服务端场景要比较吞吐、首 token 延迟、每 token 延迟和并发。长上下文场景还要加入 KV cache 的显存与带宽成本。

单用户跑出漂亮速度,不代表多人并发时仍然划算。离线评测也不能替代生产压测。

第三笔是部署复杂度。

一个权重文件不等于可用产品。需要确认:

  • 能否直接载入主流推理框架;
  • tokenizer、chat template 和特殊 token 是否完整;
  • 是否提供量化版本;
  • 是否提供 Docker、vLLM 或 SGLang 示例;
  • 显存不足时是否有明确的切分方案。

第四笔是许可证限制。

“可下载”只是访问条件,不是使用条件。商用、再分发、衍生模型、输出用途和责任条款,都要看具体许可证。

所以,“开源”不能只看 GitHub 上有没有模型文件。要看社区能否合法下载、方便运行、独立评测,并在此基础上继续开发。

代码、权重与复现,才是 Hy4 的硬指标

社区需要的不是一句“已开源”,而是一组能检查的文件:

项目 社区真正需要什么 没有它的问题
模型权重 明确版本、格式与许可证 无法检查真实行为
推理代码 可运行的加载示例 下载后仍无法启动
配置 tokenizer、chat template、特殊 token 分数难对齐
数据说明 来源、规模、清洗与混合比例 无法分析偏见和污染
评测脚本 prompt、解码参数、硬件与版本 benchmark 无法复现
训练代码 架构实现与训练配置 架构创新难被验证
成本数据 GPU 型号、时长、吞吐与显存 无法比较经济性

目前没有证据说明腾讯已经完整开放了以上内容。准确表述应是:现有摘要没有提供这些信息,官方页面是否提供,需要以公开内容和仓库为准。

我也不会编造一段“安装 Hy4”的示例代码。当前原始素材没有 README 和真实接口定义。

# 示例用途:检查社区是否提供可复现的运行入口
from pathlib import Path

required = [
    "README.md",
    "config.json",
    "tokenizer.json",
    "evaluation/",
]

root = Path("./hy4")
missing = [item for item in required if not (root / item).exists()]

if missing:
    raise SystemExit(f"Missing reproduction artifacts: {missing}")

print("Repository contains the basic reproduction artifacts.")

这段代码不下载模型,也不假装腾讯已有统一仓库。它只是把“能运行”和“能复现”拆成可检查的文件。等官方接口明确后,再替换为真实的 pip install、模型 ID 和 CLI 命令。

如果 Hy4 最终只给研究页、演示界面和若干分数,它更像一次技术发布。如果同时给出代码、权重、训练说明和评测脚本,它才可能成为一套模型系统。

编辑思考

Hy4 的重要性,不在于登上 Hacker News 首页,而在于它暴露了大模型发布中一个常见缺口:宣传材料可以很快上线,复现条件却经常缺席。开发者需要的不只是模型名字和榜单,还要能下载、能运行、能对照同一配置复跑,并知道失败案例。

我的判断是,腾讯接下来若能公开权重、评测脚本和真实推理成本,讨论重点会从“架构是否新奇”转向“单位 token 的能力和成本是否划算”。这对选型的人更有用,也比再做一张参数对比表更接近生产环境。

这次与过去部分发布不同之处,在于 Hy4 已用“重做架构”提出明确技术命题。问题也因此更具体:没有结构图、训练配置和复现材料,这个命题只能算待验证,而不是结论。目前公开素材不足,我仍不能确认它的具体结构、参数规模、训练数据和许可证。

来源

来源: https://hy.tencent.ai/research/hy4