同一个机器人策略,在标准仿真里看起来已经很稳。但你如果要换机位,最该看的可能不是排行榜上的总分,而是这个模型在相机条件变化时的成绩。LIBERO-Plus 的一组评测正好说明了二者为什么不能混为一谈。

先看成绩,再问分数是在什么条件下拿到的
LIBERO 是一套研究机器人如何在多个任务间迁移知识的仿真基准。它把空间关系、对象和任务目标等变化分开组织。只有任务、初始条件和判分规则一致,两套策略的成绩才有直接比较的意义。
LIBERO-Plus 论文表 1 又问了一步:如果模型不变,改变一类输入条件会怎样?在作者的仿真中,OpenVLA-OFT 无扰动时成功率是 97.1%,相机扰动这一栏是 59.7%,相差 37.4 个百分点。这是一组涵盖相机距离、位置和朝向变化的测试,不是把同一台相机转过一个固定角度,也不是真机成绩。

图:根据 LIBERO-Plus v2 表 1 重绘,非 BotsTest 实测。
换一个条件,别换一整张考卷
要判断一个已选的策略值不值得带上实机,先做两轮仿真。第一轮固定机位、任务、检查点、初始状态、成功规则和超时。第二轮只加入预先定义的相机变化,并保存每次结果。若第一轮就不稳定,先排查评测配置,不急着把失败归因给相机。
如果要横比两套策略,就让它们跑相同任务与初始状态。LeRobot 官方评测说明 建议使用同一随机种子和固定初始状态,也指出软重置与硬重置的初始观测并非逐位一致。不要用不同的重置方式比较两个策略,更不要让配置替模型得分。

图:BotsTest 建议的两轮仿真测试流程。
把失败写进记录,不只发成功剪辑
评测表至少加两列:成功次数/总次数和失败阶段。没定位到目标、已经抓住但没有放置、超时,都能分别记录;这些动作不能证明机器人「理解了」或「拒绝了」。这比单看平均成功率更能帮助你决定先查输入、抓取还是后续控制。

图:评测记录模板,非实验数据。
怎么用结果做决定? 如果标准设置很稳、目标机位一变就频繁失败,先在目标视角复核,再决定要不要投入真机时间。通过这项仿真检查也不代表能上线,只说明测过的那组变化没有暴露明显短板。BotsTest 本期解读公开论文,未运行这组实验。
原始来源
配图为 BotsTest 原创示意,结果图根据论文数据重绘。
将入围名单转化为决定
写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。
探索完整的机器人目录 →