RSS 2026｜蚂蚁灵波提出首个自回归因果世界模型，50条数据解锁通用机器人操控_新浪财经_新浪网
新浪首页
新闻
体育
财经
娱乐
科技
博客
图片
专栏
更多
标签添加-->
汽车
教育
时尚
女性
星座
健康
房产
历史
视频
收藏
育儿
读书
佛学
游戏
旅游
邮箱
导航
移动客户端
新浪微博
新浪新闻
新浪财经
新浪体育
新浪众测
新浪博客
新浪视频
新浪游戏
天气通
我的收藏
注册
登录
-->
自媒体热点 <br/>>
正文
行情
股吧
新闻
外汇
新三板
RSS 2026｜蚂蚁灵波提出首个自回归因果世界模型，50条数据解锁通用机器人操控
RSS 2026｜蚂蚁灵波提出首个自回归因果世界模型，50条数据解锁通用机器人操控
2026年06月03日 15:30
市场资讯
新浪财经APP
缩小字体
放大字体
收藏
微博
分享
MD
微信
腾讯QQ
QQ空间
赋予
机器人
物理理解和预测能力是通用操作的关键。蚂蚁灵波等机构提出的 LingBot-VA 试图将视频帧预测与动作推理统一起来，让机器人通过自回归扩散框架学会“一边思考一边行动”。
在通用机器人领域，机器人控制需要的不只是
“
看懂
”
当前画面 ，还需要预测未来。如果一个模型不能理解
“
推倒杯子会导致水洒出来
”
这种物理因果关系，它就很难在复杂环境中做出正确规划。然而，实现稳健的物理推理和预测能力一直是核心难题。当机器人面对需要长程规划、高精度操作或处理柔性物体的复杂任务时，它们往往显得笨拙且难以适应环境的动态变化。
当前主流的视觉
-
语言
-
动作（
VLA
）模型通常直接将视觉观察映射到动作，或者依赖于单帧或短时间窗口的预测。然而，这种端到端的范式缺乏显式建模物理过程的机制，导致模型容易陷入轨迹记忆。同时，将任务视为马尔可夫过程并丢弃历史信息，使得模型在部分可观测和长程任务中难以消除歧义。此外，现有的视频生成模型通常采用破坏因果关系的双向注意力机制，且推理延迟过高，难以满足机器人高频控制的需求。
针对上述问题，来自蚂蚁灵波科技、香港科技大学等机构的研究团队提出了
LingBot-VA
，一种全新的自回归（
AR
）视频
-
动作世界模型，通过统一视频动态预测和动作推理，将物理世界的因果结构融入机器人控制中。该模型不直接学习动作分布，而是先预测视觉世界将如何演变，然后基于这些预测推断动作。这种解耦使得模型可以利用大规模视频数据学习物理先验，同时只需少量机器人演示数据就能将这些先验转化为可执行的动作。
论文链接：
https://arxiv.org/abs/2601.21998
项目主页：
https://technology.robbyant.com/lingbot-va
LingBot-VA
：统一视频与动作的自回归生成
LingBot-VA
的核心在于将视频和动作标记（
tokens
）交错成单一的因果序列，通过自回归方式联合建模环境动态和机器人动作。
为了弥合现有方法与真实世界复杂性之间的鸿沟，
LingBot-VA
的设计初衷是为了真实地模拟和预测物理世界的完整交互流程。
交错式自回归生成
：LingBot-VA 采用了一种创新的混合 Transformer（Mixture-of-Transformers, MoT）架构。该架构将视频流和动作流解耦但交错处理，特定模态的专家在严格的因果掩码下工作：高容量的视频专家根据观察-动作历史预测未来的视觉状态，而轻量级的动作专家则推断与这些预测一致的动作。
这种非对称设计既能捕捉复杂的场景过渡，又能保持极低的单步动作解码成本。
持久且高效的历史整合
：不同于固定长度窗口的方法，
LingBot-VA
的因果公式允许每次预测都基于完整的过去观察
-
动作流。在推理时，模型仅将真实的观测结果输入到
KV
缓存中，从而将策略锚定在实际的交互历史中。
KV
缓存极大地分摊了长序列生成中的计算成本，赋予了模型强大的时间记忆能力。
噪声潜在增强实现快速推理
：视频去噪是推理时的主要计算瓶颈。研究团队敏锐地发现，机器人控制需要的是高级语义结构，而非像素级完美的细节。因此，他们在训练中引入了噪声潜在增强策略，允许动作专家直接从部分去噪的视频潜在表示中解码动作。在部署时，这使得模型可以提前截断视频去噪过程，在保持动作精度的同时大幅提升推理速度。
LingBot-VA
的实现遵循了一个严谨的流程，以确保其高质量和可靠性：
1、
统一架构设计
：采用基于视频生成预训练模型初始化的视频流和较小的动作流组成的双流
MoT
架构。
2、
状态编码与对齐
：使用因果视频
VAE
将原始视觉观察压缩为紧凑的潜在标记，并通过
MLP
将动作向量投影到相同维度，实现跨模态的统一交错。
3
、
两阶段预测机制
：第一阶段（视觉动态预测）学习给定历史预测未来视觉观察；第二阶段（逆动力学）从期望的视觉过渡中解码出具体动作。
4
、
高效训练策略
：采用教师强制（Teacher Forcing）和流匹配（Flow Matching）技术，在单一前向传递中并行优化视频和动作组件。
实验验证与模型性能：
50
条数据解锁真实世界操控
研究团队在真实物理平台和多个仿真基准上对
LingBot-VA
进行了评估。
在真实世界部署中，
LingBot-VA
执行了三类极具挑战性的任务：长程任务（如做早餐、拆快递）、高精度任务（如插入管子、捡螺丝）和柔性物体操作（如叠衣服、叠裤子）。令人惊讶的是，每个任务仅使用了
50
个真实世界的演示数据进行微调。
实验结果显示，
LingBot-VA
在所有六个任务的成功率和进度得分上均达到了
SOTA
水平，显著超过了强基线模型
π
0.5
和
Genie-Envisioner
。特别是在长程任务上的卓越表现，充分证明了其强大的时间记忆能力；而在柔性物体上的稳健表现，则凸显了视频生成作为隐式引导预测物体动态的巨大价值。
在
RoboTwin 2.0
这一包含
50
个任务的双臂操控基准测试中，
LingBot-VA
同样展现了统治力。在
Easy
设置下，它取得了
92.0%
的平均成功率；在更具挑战性的
Hard
设置下，成功率也高达
91.1%
。随着任务复杂度的增加，
LingBot-VA
的优势愈发明显，其自回归机制有效地维持了长程时间记忆，确保了多步推理的连贯性。
此外，在LIBERO基准的四个任务套件（Spatial, Object, Goal, Long）中，LingBot-VA 则达到了 98.5% 的平均成功率。
成为付费用户可以阅读 蚂蚁灵波科技 所有资料
了解更多 →