11 月 16 日,腾讯混元在北京发布最新语言模型 Hy4 flash。该模型总参数量 224B(含 64B Engram 参数),激活参数仅 12B,支持多模态与 1M 上下文长度。定价方面,每百万 Token 输入 0.5 元、输出 2 元,命中缓存仅 0.02 元,单任务成本仅为 Hy4 的 1/20、Hy4 preview 的 1/13,也低于同类竞品。
混元团队在预训练阶段引入混合注意力、LatentMoE、Engram 等架构,使 KV cache 体积缩减至 Hy3 的 1/24、Hy4 的 1/6;后训练通过自蒸馏 Hy4 与强化学习将端到端输出长度减半;推理层采用 megakernel、4bit 量化、dflash 等技术,解码速度超 150 tps,实现大规模低成本部署。内部评测集 WorkIndex 显示,Hy4 flash 综合效果略优于参数更大的 Hy4 preview。
目前 Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,并将接入 OpenRouter。11 月 30 日前,WorkBuddy 限时免费使用,TokenHub API 限时五折。
💬 评论