10月中旬，面壁智能与OpenBMB社区发布了开源端侧多模态系列最新模型MiniCPM-V 4.7，包括35B-A3B和1B两个版本。其中35B-A3B版本可实现约3GB内存在iOS、安卓等系统上运行，被视为该公司在端侧AI应用上的一大技术进展。
“我们不想把判断说得太激进，而是选择一个相对稳妥、不容易引起争议的说法。”面壁智能联席首席科学家姚远表示，“这一代MiniCPM-V 4.7的35B模型，已经超过2023年的云端旗舰模型GPT-4V。”
把大模型放进手机，首先要分清两种空间：闪存是买手机时标注的256GB或512GB，通常用于存储照片、应用和模型文件；12GB或16GB的运行内存才是手机用于计算的工作空间。姚远说，350亿参数模型即使用较激进的4位量化，权重仍约15GB，一次性装进旗舰手机的可用内存很困难。
团队采用的是混合专家架构（MoE），35B-A3B对应350亿总参数和30亿激活参数，大部分专家的权重可以留在闪存里，必要时再读取。但模型每生成一个token都要经过多层计算，手机计算单元需要反复等待读取，效率低下。“在我们的测试中，iPhone 17 Pro Max如果直接采用这种方式运行，每秒只能输出3个token。”姚远说。
面壁的解决方案是前瞻专家调度（LES）：前一层还在计算时，推理引擎就预测下一层可能用到哪些专家并提前读取，把加载时间隐藏在计算时间里。经调校后，该模型在iPhone 17 Pro Max上的生成速度从每秒3个token升至13个，换成iPhone 18 Pro Max后提升至20个，最新2.0版本可在精度损失忽略不计的情况下优化至每秒30个token，内存占用仍为3GB。团队认为，每秒15个token是兼顾可用状态与最强端侧智能的最佳速度权衡。
面向中低端机型，负责推理优化的面壁智能多模态大模型实验室算法研究员蔡天驰表示，上一代MiniCPM-V 4.6已在部分千元机上做到每秒约15个token，新版的轻量路线延续了这一目标，“1B这个版本是完全下探到千元机的”。
面壁智能已有模型进入量产手机。据7月公布的信息，MiniCPM系列为三星Galaxy Z Fold8和Fold8 Ultra上的Galaxy AI提供端侧模型能力，涉及文本理解和多模态感知。姚远认为，单点模型不构成护城河，比拼的是由硬件、模型和基础设施三个飞轮相互作用的全栈系统工程。“按照这个发展，两年内GPT-6上手机，我们觉得没什么问题。”他说。
💬 评论