11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit举行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。这是混元团队首次在开发者社区进行公开问答。AMA即Ask Me Anything,参与者可在评论区公开提问并获得回答。
过去不到一个月,混元接连发布两款模型。11月4日发布的Hy4在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位;一周多以后发布的Hy4 flash定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。此时距混元今年2月重建预训练与强化学习基础设施过去九个月。混元在重建之初确立三项原则:能力体系化、评测真实性、性价比追求。
两个小时里,混元团队回答了将近100个问题,涉及模型规模、架构取舍、安全评估等方面。团队表示,下一代Hy模型将继续扩大规模,但“做得扎实的小模型也能超过更大的模型”,并将通过后训练提高现有模型能力;高质量数据没有统一标准,数据设计和清洗最终要看实验结果,评估模型需结合内部测试、第三方评估和实际用户反馈;MoE并非越稀疏越好,过度稀疏会占用大量GPU显存,却无法充分利用算力;大规模强化学习仍是重点,尤其是复杂任务的准确性和可靠性;AI写作套话问题可能与训练目标有关,创意写作、可读性和文风遵循在改进计划中。
💬 评论