V VPP2 / Evaluation Lab
Joint video & action / Shared-FM 20k

画面与动作,是否听从指令?

v2 验证集 · 12 个场景 · 1 / 3 / 8 chunk · 6 个场景的成对 prompt 与历史干预。

视频 10 步 · action 10 步 · shift 3
评估结论
正在载入结果

原始历史 · 全层级停止指令
—

相对原指令的运动幅度中位数;越接近 0 越静止。

原始历史 · L1 左右臂交换
—

与同 seed 原指令预测的 XYZ 分量 RMSE。

评估协议、汇总指标与限制

动作误差:未来观测 EE16 中有效的左右 XYZ 分量 RMSE,单位 mm;不是关节角误差或成功率。

场景从 v2 标注验证集选取,按原始 RGB 边缘密度划分低、中、高视觉复杂度,各 4 个。分档为视觉代理,不是人工任务难度标签。所有 case 在模型输出前选定。

GT 反馈使用真实图像和真实当前本体状态。预测反馈在初始时刻后,用生成图像与上一段最后一个预测 EE16 状态作为下一段条件;不是实际机器人闭环。每段推进 32 tick,指令仍按标注时间表更新。

干预固定当前画面、本体状态和 seed,仅改变指定 prompt 或历史槽位。重复输入检查数值复现;42 / 314 两个种子用于判断随机性。预测随文字改变不等于正确完成指令,反事实指令也没有对应的 GT 执行轨迹。

← 20k / 40k 同步对照

左右臂预测轨迹

LEFT ARM

RIGHT ARM

相对于该 case 的真实初始状态;每个动作点间隔 0.04 秒。仅展示 XYZ 与夹爪,不将无效通道纳入 GT 误差。

完整设置、历史来源与干预记录