先看机器人要做什么
按项目官方 README,robomimic 是用人类示范训练机器人策略的框架,提供操控示范数据、离线学习算法和策略评估工具。论文中的 Square 仿真任务要求机械臂抓起方形螺母,再套到杆上。下面是论文解读,不是 BotsTest 复测。

作者仿真:Square 任务,裁自 Mandlekar 等人,CoRL,PMLR 164(2022),图 1(d),CC BY 4.0。
同一个训练设置,三种检查点选择规则
论文表 29固定了策略类别(BC-RNN)、示范来源(PH,由熟练操作者采集)和输入(低维物理状态,不是摄像头图像)。按离线验证损失最低选出来的检查点,仿真任务成功率是 7.3 ± 5.0%;用最后一个是 74.0 ± 7.5%;看过仿真结果再挑赢家是 84.0 ± 0.0%。作者跨三个训练种子汇报均值和离散程度,每个评估检查点跑 50 次仿真。7.3% 是任务成功率,不是损失。

作者图表:《Effect of Policy Selection Criteria》,裁自正式论文第 6 页左侧,CC BY 4.0。图示四种设置的相对变化,不是表 29 的绝对成功率。

BotsTest 按论文表 29 重绘;不是新测量。
看过成绩再选,不等于独立复测
离线验证损失衡量策略是否拟合留出的示范动作。实际跑仿真时,策略要面对自己前面动作留下的状态,再完成整套任务。这两个指标在此例分歧,但数据并不能解释具体原因。84.0% 是事后从同一批候选成绩中挑出来的;表上的 0.0 也不等于没有不确定性。这一行不是真机成绩,也不能证明训练越久一定越好。
预算有限,就把筛选和确认分开
- 事前列出候选和判分。 例如最低验证损失、最后一个与预先指定的中途检查点。去重,固定模拟器、时限、起点和成功标准。
- 在相同起点上筛选。 例如三个候选各跑相同的 10 个起点,最多 30 次。记下成功次数和失败模式;结果接近时保留不确定性。
- 换一批起点独立确认。 锁定所选检查点,再换一批从未用于筛选的起点或种子,例如 20 次。若用确认批次重新选赢家,就不能再叫独立验证。次数只是预算示例,不能保证样本量充足;仿真和真机应分开报告。

BotsTest 方法示意;运行次数仅作预算参考。
来源
BotsTest 项目目录 · 项目文档 · 正式论文
将入围名单转化为决定
写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。
探索完整的机器人目录 →