新浪科技10月19日消息，自变量当日发布X2Real。这是一套可进化的仿真评测基准，用于评估具身模型在真实物理世界中的性能。按官方测试结果，X2Real仿真评测与真机评测的任务成功率相关性达到0.96，进度分相关性达到0.99。
该基准提出三个设计原则：可信性、有效性与客观性，分别对应用与真实硬件对齐的仿真、多维度的任务设计，以及自动化的评测与诊断流程，目标是让仿真评测成为模型性能的可信标尺。
毫米级对齐四类机器人本体
在可信性上，X2Real采用与真实硬件对齐的仿真标定，校准仿真世界中的机器人视觉、物理与控制特性。据披露，其可实现毫米级的轨迹一致性，标定覆盖单臂Franka、双臂ArtiXon Arm-6A、ARX R5和移动操作平台Quanta X1等多种主流机器人本体。
在有效性上，X2Real共设计10个类别的44个仿真任务。其中4类考察推理能力，包括泛化、视觉理解、语言理解与记忆；5类考察操作能力，包括精细操作、双臂协同、工具使用、动态物体操作与移动操作。此外还单独设置一类挑战任务，包括堆叠积木、按指定颜色序列按键、解决汉诺塔。
用随机化与统一协议减少偏差
在客观性上，X2Real把任务拆分为外观条件、任务设置、具身条件三个维度分别随机化，严格分离训练与评测配置，并使用由英伟达Isaac Lab-Arena支撑的Mana仿真生态系统持续生成新考题。同时，平台通过统一评测协议翻译不同模型的接口差异，开发者只需接入统一模型接口，即可在线完成评测判分与轨迹回放。
💬 评论