腾讯混元 Hy4 开源：7700 亿总参数，支持 100 万上下文

腾讯发布 Hy4 preview。新模型采用 MoE 架构，总参数达 770B，每次激活 49B，上下文长度扩展至 1M。相比 Hy3 的 295B 总参数、21B 激活参数和 256K 上下文，Hy4 的模型规模提升至两倍以上，长上下文能力扩大约 4 倍。

腾讯表示，Hy4 不只侧重通用跑分，也强化了代码、办公、游戏和科研等真实任务能力。例如，模型可从零搭建 Three.js 3D 网站，在 Unity 中制作可玩的游戏 Demo，也能一次处理 72 份财务文件，用于检查重复报销、额度超限和预算异常。

Hy4 还开始参与自身研发流程。腾讯称，模型会辅助优化训练方法、数据策略、评测体系和底层算子，提出方案、运行实验，并根据结果继续调整。实验产生的代码、日志和反馈也会进入下一轮研发，形成初步的自我改进循环。

目前，Hy4 preview 已接入 WorkBuddy、CodeBuddy、元宝、ima、腾讯云 TokenHub 和 OpenRouter。腾讯此前曾在财报中预告，Hy4 将比 Hy3 更大，并将真实产品反馈作为模型训练的重要来源。