同一个机器人策略,在标准仿真里看起来已经很稳。但你如果要换机位,最该看的可能不是排行榜上的总分,而是这个模型在相机条件变化时的成绩。LIBERO-Plus 的一组评测正好说明了二者为什么不能混为一谈。

同一机械臂与桌面目标,左为固定相机,右为相机视角变化的概念示意。

先看成绩,再问分数是在什么条件下拿到的

LIBERO 是一套研究机器人如何在多个任务间迁移知识的仿真基准。它把空间关系、对象和任务目标等变化分开组织。只有任务、初始条件和判分规则一致,两套策略的成绩才有直接比较的意义。

LIBERO-Plus 论文表 1 又问了一步:如果模型不变,改变一类输入条件会怎样?在作者的仿真中,OpenVLA-OFT 无扰动时成功率是 97.1%,相机扰动这一栏是 59.7%,相差 37.4 个百分点。这是一组涵盖相机距离、位置和朝向变化的测试,不是把同一台相机转过一个固定角度,也不是真机成绩。

同一策略的两项论文仿真成功率:无扰动 97.1%,相机扰动 59.7%,均使用 0–100% 刻度。

图:根据 LIBERO-Plus v2 表 1 重绘,非 BotsTest 实测。

换一个条件,别换一整张考卷

要判断一个已选的策略值不值得带上实机,先做两轮仿真。第一轮固定机位、任务、检查点、初始状态、成功规则和超时。第二轮只加入预先定义的相机变化,并保存每次结果。若第一轮就不稳定,先排查评测配置,不急着把失败归因给相机。

如果要横比两套策略,就让它们跑相同任务与初始状态。LeRobot 官方评测说明 建议使用同一随机种子和固定初始状态,也指出软重置与硬重置的初始观测并非逐位一致。不要用不同的重置方式比较两个策略,更不要让配置替模型得分。

两轮实验固定任务、策略、初始状态和成功规则,第二轮只改变预先设定的相机条件。

图:BotsTest 建议的两轮仿真测试流程。

把失败写进记录,不只发成功剪辑

评测表至少加两列:成功次数/总次数和失败阶段。没定位到目标、已经抓住但没有放置、超时,都能分别记录;这些动作不能证明机器人「理解了」或「拒绝了」。这比单看平均成功率更能帮助你决定先查输入、抓取还是后续控制。

示例记录表:分列记录成功次数与总次数,同时记录失败阶段和复查动作;没有虚构测试数据。

图:评测记录模板,非实验数据。

怎么用结果做决定? 如果标准设置很稳、目标机位一变就频繁失败,先在目标视角复核,再决定要不要投入真机时间。通过这项仿真检查也不代表能上线,只说明测过的那组变化没有暴露明显短板。BotsTest 本期解读公开论文,未运行这组实验。

原始来源

配图为 BotsTest 原创示意,结果图根据论文数据重绘。

将入围名单转化为决定

写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。

探索完整的机器人目录 →