科研与机器人学习 ·情景路线图

采集示教数据并训练模仿学习策略

开发可追踪的远程操作、数据集、训练和保留评估工作流程。

已审查 2026年10月27日 ·编辑学习和项目指导。专业意味着项目深度,而不是认可的资格。

最终目标

完成后将获得什么成果

完整的演示到评估报告和可再现的工件。说明学到的政策在哪里起作用以及在哪里需要干预。

开始之前

需要的基础

  • 熟悉Python、数据数组和监督学习概念。
  • 了解机器人和相机校准程序。

设备 & 运行环境

首先使用离线数据集或模拟器。硬件演示需要有监督的记录空间和记录的重置过程。

没有固定的完成时间:使用下面的证据门来决定何时推进。资源链接打开botstest目录条目;检查其发布者文档以获取确切的版本和配置。

01

入门

训练前检查数据

了解观察、行动和情节是如何表示的。

理解这一阶段

一条示教记录不只是任务成功的视频,而是对观测与动作之间关系的同步记录。采集更多数据之前,先弄清楚现有数据的表示方式。

结合例子理解

教学示例 · 由 botstest 编写

检查某条记录中一个关节轴的数据:当前位置为 0.4 弧度,记录的动作为 0.1。如果动作表示绝对目标位置,目标就是 0.1;如果动作表示增量,目标则是 0.5。同一个数组会产生不同的行为。因此,使用样本前必须根据采集流程和控制器元数据确认动作约定。

  1. 检查元数据和情节边界。
  2. 将观测结果与状态/动作轨迹可视化。
  3. 记录丢失、陈旧或损坏的样本。
遇到问题时

视频播放流畅,并不能说明动作时间对齐正确;还要检查对应状态和时间戳。

参考依据: 乐机器人数据集v3.0。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 剧集边界、时间戳和单位
  2. 动作表示及体现
  3. 数据集来源和允许的使用
参考文章与应用练习

Hugging Face · LeRobot · 参考文档

乐机器人数据集v3.0

建议阅读: 在修改或组合剧集之前检查数据集结构和元数据。

使用数据结构来使事件、观察、动作和处理来源可检查。

应用练习: 通过动作/状态元数据和时间对齐来审核来自摄像机观测的一集。

动手实践

  1. 加载小型示教数据集并检查帧和动作。
  2. 编写模式注释并识别缺失或未对齐的观察结果。
阶段成果

数据集检查笔记本和模式/许可注释。

达到这些标准后进入下一阶段

本阶段资源

LeRobot →

Follow robot-data recording, dataset, policy and evaluation workflows for supported hardware and software.

BridgeData V2 →

Inspect a manipulation dataset and its collection conditions before designing training and evaluation splits.

Open X-Embodiment →

Examine multi-embodiment demonstration data, metadata, licenses and action conventions.

02

进阶

记录并训练有界任务

为一项任务构建可靠的收集到训练循环。

理解这一阶段

数据采集、训练和评估必须采用兼容的机器人配置与数据约定。先跑通一个小而完整的流程,通常比直接采集大量未经检查的数据更容易暴露问题。

结合例子理解

教学示例 · 由 botstest 编写

选定一个桌面操作任务,保持复位条件一致。把机器人标识与标定记录和数据集一同保存,训练一个基线策略,再在事先确定的留出初始条件下进行有人监督的评估。

  1. 首先验证校准和相机观测。
  2. 在缩放之前记录并检查小数据集。
  3. 使用检查点保存训练和评估配置。
遇到问题时

重新连接后,复现的动作出现偏移时,先检查标定标识和动作约定,再考虑重新训练。

参考依据: 真实机器人模仿学习教程。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 远程操作校准和操作员一致性
  2. 保留事件和对象泄漏
  3. 基线训练配置和检查点选择
参考文章与应用练习

Hugging Face · LeRobot · 技术教程

真实机器人模仿学习教程

建议阅读: 在训练和评估之前遵循设置和记录;首先检查机器人特定的先决条件。

使用端到端序列来保持机器人校准、记录、训练和评估的连接。

应用练习: 在记录和评估过程中保持机器人身份和校准一致;记录数据集上传选择。

动手实践

  1. 收集或整理小型固定任务数据集并训练受支持的基线。
  2. 使用相同的评估设置来比较两个数据质量条件。
阶段成果

版本化数据集子集、基线检查点和质量比较。

达到这些标准后进入下一阶段

本阶段资源

SO-101 →

Explore a small teleoperation arm; confirm assembly, calibration and exact hardware revision support.

LeRobot →

Follow robot-data recording, dataset, policy and evaluation workflows for supported hardware and software.

robomimic →

Study offline demonstration-learning workflows and controlled policy comparisons.

03

专业实践

评估泛化并发布工作流程

说明所学政策在哪里起作用以及在哪里需要干预。

理解这一阶段

泛化能力需要通过边界测试来证明,不能仅凭几段成功演示就下结论。每次有意改变一项条件,才能判断究竟是哪一个假设失效。

结合例子理解

教学示例 · 由 botstest 编写

以一张假设的十次试验记录表为例:八次全程自主完成,一次经人工修正后完成,一次超时。自主完成率应记为八次除以十次,人工协助的结果单独记录。更换物体或场景后,沿用相同统计方式,不要把容易的基线试验与条件变化后的试验混在一起。

  1. 在调整之前声明评估条件。
  2. 分别记录自主完成和人工更正。
  3. 发布处理、模型和评估出处在一起。
遇到问题时

不要把人工修正后的试验算作自主成功;应说明人工协助具体改变了什么。

参考依据: 再现已发表的实验和结果。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 移动的对象、场景和开始状态
  2. 干预核算和恢复
  3. 跨实施例和硬件传输限制
参考文章与应用练习

动手实践

  1. 运行具有可重复重置的预先声明的评估矩阵。
  2. 发布收集、处理和评估指令以及诚实的故障报告。
阶段成果

完整的演示到评估报告和可再现的工件。

达到这些标准后进入下一阶段

本阶段资源

ALOHA →

Study the original bimanual research design. Legacy commercial ALOHA hardware is end-of-life; verify parts and current alternatives.

Universal Manipulation Interface →

Examine handheld demonstration collection and how its calibration and action representation transfer to a target robot.

DROID →

Study a manipulation data-collection workflow and its embodiment and environment assumptions.

常见误区

  • 假设更多的演示修复了损坏的时间戳约定。
  • 将评估场景混合到训练中而不公开。

下一步怎么走

仅当理解更简单的策略和数据质量基线时才进行VLA比较。

探索其他 科研 条路线 →

相关购买和解决方案指南