11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit举行AMA(Ask Me Anything)问答。这是混元团队首次在开发者社区公开答问。两小时内,团队收到300多条留言,内容涵盖模型技术路线、架构取舍、未来规划和安全评测等。团队在会上透露,下一代模型将大幅扩容,小尺寸模型已列入路线图。
问答中,团队确认Hy4-mini已在路线图上,并表示会考虑推出更小尺寸的图像模型,视频模型也值得关注;同时提到计划推出前沿的Flash-Lite模型。面对字节跳动、Kimi等公司推进3T甚至5T超大规模模型、而混元仍在700B的问题,团队回应称,Hy3和Hy4表明,做得扎实的较小模型往往可以胜过更大的模型,且成本更低,过程中也能学到更多。团队还表示相信Scaling law,将继续投入训练更大模型,并称Hy4在后训练方面仍有很大提升空间,正在大规模强化学习上投入精力。对于循环式MoE模型,团队称有可能,正在积极研究。
针对开发者关心的本地运行、工具调用和开源生态,团队给出具体回应,并表示重视社区反馈。安全方面,团队强调通过有害数据过滤、训练防护和红队评估推进负责任的开源,同时承认需要继续减少过度拒绝。此次答问集中披露了混元在模型尺寸、扩容节奏和开源安全上的多项安排。
💬 评论