评估结论
正在载入结果Joint video & action / Shared-FM 40k
画面与动作,是否听从指令?
v2 验证集 · 12 个场景 · 1 / 3 / 8 chunk · 6 个场景的成对 prompt 与历史干预。
原始历史 · 全层级停止指令
—相对原指令的运动幅度中位数;越接近 0 越静止。
原始历史 · L1 左右臂交换
—与同 seed 原指令预测的 XYZ 分量 RMSE。
评估协议、汇总指标与限制
动作误差:未来观测 EE16 中有效的左右 XYZ 分量 RMSE,单位 mm;不是关节角误差或成功率。
场景从 v2 标注验证集选取,按原始 RGB 边缘密度划分低、中、高视觉复杂度,各 4 个。分档为视觉代理,不是人工任务难度标签。所有 case 在模型输出前选定。
GT 反馈使用真实图像和真实当前本体状态。预测反馈在初始时刻后,用生成图像与上一段最后一个预测 EE16 状态作为下一段条件;不是实际机器人闭环。每段推进 32 tick,指令仍按标注时间表更新。
干预固定当前画面、本体状态和 seed,仅改变指定 prompt 或历史槽位。重复输入检查数值复现;42 / 314 两个种子用于判断随机性。预测随文字改变不等于正确完成指令,反事实指令也没有对应的 GT 执行轨迹。
左右臂预测轨迹
LEFT ARM
RIGHT ARM
相对于该 case 的真实初始状态;每个动作点间隔 0.04 秒。仅展示 XYZ 与夹爪,不将无效通道纳入 GT 误差。