如果只够再采 7362 条机器人演示,你会在最常用的场景多做几遍,还是把同样的名额分给更多场景?DROID 的作者做了一次等量比较。在他们的分布外测试中,多场景来源那组表现更好。这里变的是数据怎么选,不是多加了多少条。

原创示意,图标不代表真实场景数量。
两组数据究竟怎么选?
集中组来自演示最多的 20 个场景,共 7362 条轨迹;覆盖更多场景的一组,从 DROID 训练池满足条件的成功演示中均匀随机抽取 7362 条。随机的是演示,不是给每个场景分配同样的名额,也不是覆盖全部场景。

两组配比一致,区别是来源演示如何选。
结果说明了什么?
DROID 论文第 V-C 节和图 8比较了三个分布外任务,多场景来源组的表现较好。新增干扰物或换一个目标,都可能构成分布外变化,不一定要换实验室。这里是作者实验,不是 BotsTest 实测,也不等于可以省掉本地示范或迁移到任意硬件。

作者图 8 的方向性总结,不把实验外推到其他硬件或未测任务。
拿自己的数据,怎样做等量对照?
- 先锁测试集。 按场景或采集会话划分训练和测试,不要把邻近片段打散进两边。预先定义成功、超时和人工干预。
- 对齐预算和配置。 各抽一份等量来源数据,共用本地样本、混合比例、模型配置、训练步数和随机种子集合。记录物体、任务、操作者的分布;如果它们也不同,就把差异归为选样方法,不能单独归因于场景数。
- 按变化分别报数。 用同样的硬件、判分和匹配初始条件,分别报告熟悉条件与每种新条件下的「成功数/尝试数」,并记录失败。

BotsTest 建议的复验流程,不是新增实验结果。
7362 不是一个应照抄的数字。真正可复用的是:先看缺的是更多回合,还是之前没采过的场景,再决定下一轮采什么。
来源:BotsTest DROID 资源页 · DROID 项目。
将入围名单转化为决定
写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。
探索完整的机器人目录 →