当地时间11月4日，苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，披露人形机器人自主控制系统HALO，并将该系统部署在宇树科技G1人形机器人上验证，让机器人在陌生现实房间中执行仿真环境里学到的动作。
研究团队同时公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。项目页面显示，机器人可执行推箱子、跟随人、坐上椅子、侧身穿过半开的门、俯身或爬行穿过桌底等动作。
三层架构调用千问模型
HALO由三个层级协同控制。最上层是基于视觉语言模型的任务编排模块，默认采用千问Qwen3.6-35B-A3B，在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作，也可选择通过API调用云端模型。该模块负责处理指令中的模糊信息，例如“坐下”未指定目标，需由机器人从眼前场景判断落座位置，并通过机器人视角的视频判断动作是否成功。
中间的动作生成层采用千问Qwen3.5-2B作为参数冻结的编码器，与负责生成动作的DiT解码器配合，规划未来约5秒的全身动作，每秒重新规划约3次。底层动作跟踪器经强化学习、策略蒸馏等步骤训练，以每秒50次的频率将动作计划转化为关节控制指令。
单项任务成功率91%
论文披露，团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试，平均成功率为91%；在另一真实环境中对3种组合任务各测试10次，平均成功率70%，其中“俯身通过障碍—走向目标—推箱子”组合成功率为50%。
训练数据方面，团队在1000个程序生成的模拟家庭环境中合成约300小时主要训练数据，使用250张英伟达H100 GPU耗时约48小时完成，动作生成器训练使用64张B200。团队也指出，仿真数据生成未完全摆脱人工参与，部分动作仍需人工编写提示词、设计关键帧；目前机器人主要依赖视觉感知，物体离开视野或被遮挡时任务表现会下降，加入触觉感知是后续改进方向。
💬 评论