V VPP2 / Evaluation Lab
Joint video & action / Shared-FM 20k / 40k

画面与动作,是否听从指令?

v2 验证集 · 12 个场景 · 1 / 3 / 8 chunk · 6 个场景的成对 prompt 与历史干预。

视频 10 步 · action 10 步 · shift 3
评估结论
正在载入结果

单 chunk · 平均 PSNR
—

20k → 40k,越高越好。

8 chunk 预测反馈 · XYZ RMSE
—

20k → 40k,越低越好。

评估协议、汇总指标与限制

动作误差:未来观测 EE16 中有效的左右 XYZ 分量 RMSE,单位 mm;不是关节角误差或成功率。

场景从 v2 标注验证集选取,按原始 RGB 边缘密度划分低、中、高视觉复杂度,各 4 个。分档为视觉代理,不是人工任务难度标签。所有 case 在模型输出前选定。

GT 反馈使用真实图像和真实当前本体状态。预测反馈在初始时刻后,用生成图像与上一段最后一个预测 EE16 状态作为下一段条件;不是实际机器人闭环。每段推进 32 tick,指令仍按标注时间表更新。

干预固定当前画面、本体状态和 seed,仅改变指定 prompt 或历史槽位。重复输入检查数值复现;42 / 314 两个种子用于判断随机性。预测随文字改变不等于正确完成指令,反事实指令也没有对应的 GT 执行轨迹。

20k 完整指令 / 历史干预页 · 40k 完整指令 / 历史干预页

左右臂预测轨迹

LEFT ARM

RIGHT ARM

相对于该 case 的真实初始状态;每个动作点间隔 0.04 秒。仅展示 XYZ 与夹爪,不将无效通道纳入 GT 误差。

完整设置、历史来源与干预记录