IT时代网11月1日消息,飞捷科思联合复旦大学认知与智能技术实验室(CITLab)发布统一世界动作模型Fysiverse-UniWAM,并同步公布技术报告与部分开源资源。
与常见的“导航模型+操作模型”拼接方案不同,该模型用同一个模型同时学习“走到哪里”“停在哪里”以及“接下来怎么动手”,且不需要昂贵的预训练,研发成本大幅降低。在公开评测中,模型在MAP导航与移动操作两项核心能力上均取得第一。
团队把移动操作的瓶颈归为两类:传统语义导航只给出宽泛的目标区域,机器人可能确实“到了桌边”,却因停得太远、角度不对而无法抓取;从完整移动操作轨迹中隐式学习停靠位置的方法,则依赖大量“移动+操作”完整数据,采集成本较高。此外,导航与操作分别训练两个策略会带来交接环节的误差传递,而把底盘、机械臂与夹爪动作塞进同一动作向量,又要面对观察画面、动作空间、控制频率和运动规律上的差异。
对应第一类问题,模型采用操作锚定位姿(Manipulation Anchor Pose,MAP):用底盘在地面上的二维位置和朝向,明确描述开始操作前应到达的姿态。围绕MAP构建的自动化数据流程,可根据三维场景、目标位置和可通行区域生成参考停靠位姿与接近轨迹,再把目标框和MAP的图像投影标注到沿途观察中。完整的MAP-Data包含超过150万条轨迹、约7500小时数据。
对应第二类问题,模型采用Mixed-Stream双流架构:导航与操作两条数据流保留各自的视觉输入、动作编码器和输出头,共享视频与动作DiT骨干;两类样本独立采样并沿batch维度拼接训练,可分别控制采样比例,每条样本仅监督对应的数据流,通过共享骨干实现联合学习。
评测数据显示,在MAP-Bench上,UniWAM-Scaled在短、中、长距离任务中的位置误差与朝向误差均为最低,领先GR00T N1.7、π0.5等机器人预训练模型,并优于FastWAM等世界动作模型以及Uni-NaVid、InternVLA-N1等视觉语言导航模型。真机方面,13项MAP导航任务中的位置误差与朝向误差同样保持最低水平。
在公开演示中,研究人员先遥控把机器人推离工位并调转朝向,随后交还控制权:机器人自主环顾四周、规划路线、修正底盘,停在机械臂可及的位置,把桌上的杯子逐个收进托盘。更换机器人本体与摄像头视角后,同一模型仍能完成这一过程。据介绍,该过程并非循迹、遥控或固定脚本,每一轮重启都由模型依据当前场景重新判断路线与停靠姿态。
成为付费用户可以阅读 飞捷科思 所有资料
了解更多 →