WorldOracle是一个面向动作条件世界模型（ACWM）的基准，它将每个模型预测的推演与配对的真实世界执行进行评分对比，二者均从相同的初始观测出发并遵循相同的动作序列。
共评估了7个代表性模型；机械臂运动预测相对较好，但物体位置和运动常偏离现实，且在完整操作序列上性能下降。
该平台于10月16日向开发者开放，同时接受开放权重和闭源模型。
在WorldOracle的一个案例中，机器人的抓取失败了，但世界模型却预测抓取成功。图片来源：[WorldOracle团队 / AgiBot]
在WorldOracle展示的一个案例中，机器人的抓取失败了，但世界模型却预测机器人已成功拿起水果。
给定真实操作片段的初始帧和动作序列，模型生成的推演在屏幕上看起来合理，但与实际执行不符。它所描绘的成功在现实中从未发生。
来自普林斯顿大学、德克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和AgiBot的研究人员共同推出了WorldOracle，这是一个专门用于评估动作条件世界模型（ACWM）的基准，通过将其预测与从相同初始观测出发、遵循相同动作序列的真实世界执行进行对比来评估。
团队评估了7个代表性模型——其中包括DreamDojo、Cosmos 3、IRASim和GE-Sim 2.0——并识别出两个突出问题。第一，虽然机械臂的运动路径预测相对较好，但被操作物体的位置和运动仍可能偏离现实。第二，在短时间范围内表现良好的模型在完整操作序列上可能显著退化。
10月16日，面向动作条件世界模型的评估平台WorldOracle正式向开发者开放。研究团队已预先收集真实操作片段，同时记录视频和动作。开发者使用评估集中提供的初始帧和动作序列生成预测视频并提交至平台，平台将每次提交与对应的真实执行记录进行评分。结果可显示模型是否准确预测了动作的后果，帮助开发者定位弱点并验证改进。
项目页面：https://worldoracle-benchmark.github.io/
论文：https://arxiv.org/abs/2610.18826
#### 7个世界模型表现如何？
机械臂运动正确，但物体并不总是跟随
机器人手臂伸向水果并闭合夹爪的预测运动可能与其实际运动高度吻合，但模型仍可能错误预测水果是否被抬起以及随后移动到哪里。为分别评估这两者，研究团队将每个预测视频中机械臂和被操作物体的位置与运动与真实世界记录进行对比，并分别评分。
机械臂和被操作物体的空间对齐分数。图片来源：[WorldOracle团队 / AgiBot]
结果显示，在人类操作的AgiBot G2数据上评估的全部5个模型在机械臂上的得分均高于物体。换言之，即使生成视频中的机械臂很好地遵循了给定动作，物体的位置和运动仍可能偏离现实。IRASim在机械臂上得分为78.8，但在被操作物体上仅为29.1，而Cosmos 3分别为89.4和45.4。其余模型表现出不同程度的差距。
准确率随推演时长增加而下降
时间带来第二个挑战。完成一项连续任务通常需要多次抓取、放置和调整，一次交互留下的物体状态成为下一次交互的起点。因此，模型是否贴近现实必须在完整过程中进行测试。
WorldOracle同时评估每条轨迹的前30秒和完整长序列。
相同模型在两种评估时长下的WorldOracle-SV分数。图片来源：[WorldOracle团队 / AgiBot]
在同一组AgiBot G2遥操作数据上，全部5个模型的WorldOracle-SV分数均下降。DreamDojo从50.56降至27.08，Cosmos 3从53.99降至26.60，两者均几乎减半。GE-Sim 2.0从73.86降至63.33；它在两种时长下均为5个模型中得分最高，且在完整序列上降幅最小。
相对排名也发生了变化。IRASim在前30秒的得分低于Ctrl-World、DreamDojo和Cosmos 3，但在完整序列上高于这三者。
WorldOracle能测量什么？
WorldOracle评估框架：记录真实动作，模型预测后续结果，并将结果与真实执行进行评分。图片来源：[WorldOracle团队 / AgiBot]
准确预测失败可获得高分
WorldOracle从预先收集的真实操作记录出发。模型获得初始帧和动作序列并生成预测视频，该视频与相同动作的真实执行进行对比。
模型必须预测的内容包括抓取失败、掉落和洒出。如果某项操作在现实中失败，准确预测该失败即计为正确预测。
因此，失败执行构成一类重要的测试样本：它们揭示模型是遵循给定动作及其后果，还是默认采用任务的成功版本。
该基准涵盖两种机器人本体，AgiBot G2和YAM，以及第一人称人手操作。四项任务（摘水果、挂毛巾、倒水和拉抽屉）分别涉及与刚性、可变形、流体和铰接物体的交互。任务覆盖范围因本体而异，具体如评估集中所定义。
人手设置面向能够接受手部运动输入的世界模型，测试模型能否从记录的手部姿态序列预测后续物体变化和交互结果。具备自我中心世界建模能力的模型在此设置下进行零样本评估，平台不提供任何额外的手部适配数据。
四种任务类型的真实执行画面。图片来源：[WorldOracle团队 / AgiBot]
数据来自两个来源。第一个是人工操作的数据采集，包括机器人遥操作轨迹和人类手部操作轨迹。第二个是策略 rollout，即由自主策略控制真实机器人。
当机器人自主执行时，它可能产生与人类操作不同的停顿、抖动和运动修正。纳入此类数据有助于检验世界模型在面对来自不同来源的动作时是否仍保持准确。
该平台提供三个赛道：
WorldOracle-Core：评估对人工操作轨迹前 30 秒的预测。
WorldOracle-Policy：评估在 AgiBot G2 上自主策略 rollout 完整回合的预测。
WorldOracle-Long：评估对完整的人工操作长序列的持续预测。
WorldOracle 研究比较了若干具身世界模型基准。其中，WorldOracle 是唯一同时覆盖动作序列输入、真实世界执行数据、失败案例、长时程交互、多种具身、多视角评估和自主策略 rollout 的基准。
拆解预测误差：结果与过程
即使模型对水果抓取状态的判断有误，预测的机械臂位置与真实机械臂位置也可能高度吻合；两个最终状态可能看起来相似，但通向它们的路径却不同。单一分数很难捕捉这类差异。
WorldOracle 用四个互补指标检验预测：
物理状态正确性：检验每次交互结束时物体位置、抓取状态和液体转移是否与真实结果一致。
交互空间对齐：检验物体、机械臂或人手的位置和运动路径是否与真实过程一致。
关键交互区域保真度：聚焦物体、夹爪和手部等区域，结合像素级、感知和语义相似度，以减少大面积背景对分数的影响。
多视角动作一致性：对于支持多视角输出的模型，检验机器人在同步相机视角下的运动是否与真实执行对齐。
前三个指标以相等权重取平均，构成 WorldOracle-SV（单视角）分数；对于多视角评估，加入第四个指标，四个指标再次等权。各子分数也会保留，使开发者能够区分状态预测、运动轨迹和局部细节方面的问题。
为验证这些指标，研究人员让 119 名参与者比较 128 对预测视频。四个指标在判断哪个预测更好时与人类选择的一致率为 88.1% 至 93.2%。
研究人员也指出了该基准的局限。它衡量的是预测与单次记录的真实执行之间的接近程度。对于流体、可变形物体和随机接触，同一动作可能导致多种合理结果，单一参考无法完整描述这一范围。
不同具身的训练支持也不同：AgiBot G2 模型使用基准专用训练集，YAM 模型使用公开数据，人手设置以零样本方式评估。因此，不应直接使用三种设置下的分数来判断具身难度或跨具身泛化能力。
#### 开发者如何参与？
公开提交为模型迭代提供具体反馈
WorldOracle 同时支持开放权重和闭源模型。注册并通过审批后，开发者根据其模型支持的具身或操作设置选择赛道，按照提交指南生成并上传预测视频，并查看综合分数、子分数和比较结果。
对于模型迭代，这些反馈可以对应到具体问题：某项改动是否让物体运动更准确？是否减少了失败操作的错误预测？随着预测时程增长，改进是否仍然成立？
世界模型生成的结果是否可信，必须对照真实执行来检验。WorldOracle 将这一检验转化为统一的任务、数据和评分方法，为开发者提供比较模型、识别错误和验证改进的依据。
项目页面：https://worldoracle-benchmark.github.io/
提交指南：https://worldoracle-benchmark.github.io/submission/