开始之前
需要的基础
- 熟悉Python、数据数组和监督学习概念。
- 了解机器人和相机校准程序。
设备 & 运行环境
首先使用离线数据集或模拟器。硬件演示需要有监督的记录空间和记录的重置过程。
没有固定的完成时间:使用下面的证据门来决定何时推进。资源链接打开botstest目录条目;检查其发布者文档以获取确切的版本和配置。
入门
训练前检查数据
了解观察、行动和情节是如何表示的。
理解这一阶段
一条示教记录不只是任务成功的视频,而是对观测与动作之间关系的同步记录。采集更多数据之前,先弄清楚现有数据的表示方式。
结合例子理解
教学示例 · 由 botstest 编写
检查某条记录中一个关节轴的数据:当前位置为 0.4 弧度,记录的动作为 0.1。如果动作表示绝对目标位置,目标就是 0.1;如果动作表示增量,目标则是 0.5。同一个数组会产生不同的行为。因此,使用样本前必须根据采集流程和控制器元数据确认动作约定。
- 检查元数据和情节边界。
- 将观测结果与状态/动作轨迹可视化。
- 记录丢失、陈旧或损坏的样本。
视频播放流畅,并不能说明动作时间对齐正确;还要检查对应状态和时间戳。
参考依据: 乐机器人数据集v3.0。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 剧集边界、时间戳和单位
- 动作表示及体现
- 数据集来源和允许的使用
参考文章与应用练习
Hugging Face · LeRobot · 参考文档
乐机器人数据集v3.0
建议阅读: 在修改或组合剧集之前检查数据集结构和元数据。
使用数据结构来使事件、观察、动作和处理来源可检查。
应用练习: 通过动作/状态元数据和时间对齐来审核来自摄像机观测的一集。
动手实践
- 加载小型示教数据集并检查帧和动作。
- 编写模式注释并识别缺失或未对齐的观察结果。
数据集检查笔记本和模式/许可注释。
达到这些标准后进入下一阶段
本阶段资源
Follow robot-data recording, dataset, policy and evaluation workflows for supported hardware and software.
Inspect a manipulation dataset and its collection conditions before designing training and evaluation splits.
Examine multi-embodiment demonstration data, metadata, licenses and action conventions.
进阶
记录并训练有界任务
为一项任务构建可靠的收集到训练循环。
理解这一阶段
数据采集、训练和评估必须采用兼容的机器人配置与数据约定。先跑通一个小而完整的流程,通常比直接采集大量未经检查的数据更容易暴露问题。
结合例子理解
教学示例 · 由 botstest 编写
选定一个桌面操作任务,保持复位条件一致。把机器人标识与标定记录和数据集一同保存,训练一个基线策略,再在事先确定的留出初始条件下进行有人监督的评估。
- 首先验证校准和相机观测。
- 在缩放之前记录并检查小数据集。
- 使用检查点保存训练和评估配置。
重新连接后,复现的动作出现偏移时,先检查标定标识和动作约定,再考虑重新训练。
参考依据: 真实机器人模仿学习教程。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 远程操作校准和操作员一致性
- 保留事件和对象泄漏
- 基线训练配置和检查点选择
参考文章与应用练习
Hugging Face · LeRobot · 技术教程
真实机器人模仿学习教程
建议阅读: 在训练和评估之前遵循设置和记录;首先检查机器人特定的先决条件。
使用端到端序列来保持机器人校准、记录、训练和评估的连接。
应用练习: 在记录和评估过程中保持机器人身份和校准一致;记录数据集上传选择。
动手实践
- 收集或整理小型固定任务数据集并训练受支持的基线。
- 使用相同的评估设置来比较两个数据质量条件。
版本化数据集子集、基线检查点和质量比较。
达到这些标准后进入下一阶段
本阶段资源
Explore a small teleoperation arm; confirm assembly, calibration and exact hardware revision support.
Follow robot-data recording, dataset, policy and evaluation workflows for supported hardware and software.
Study offline demonstration-learning workflows and controlled policy comparisons.
专业实践
评估泛化并发布工作流程
说明所学政策在哪里起作用以及在哪里需要干预。
理解这一阶段
泛化能力需要通过边界测试来证明,不能仅凭几段成功演示就下结论。每次有意改变一项条件,才能判断究竟是哪一个假设失效。
结合例子理解
教学示例 · 由 botstest 编写
以一张假设的十次试验记录表为例:八次全程自主完成,一次经人工修正后完成,一次超时。自主完成率应记为八次除以十次,人工协助的结果单独记录。更换物体或场景后,沿用相同统计方式,不要把容易的基线试验与条件变化后的试验混在一起。
- 在调整之前声明评估条件。
- 分别记录自主完成和人工更正。
- 发布处理、模型和评估出处在一起。
不要把人工修正后的试验算作自主成功;应说明人工协助具体改变了什么。
参考依据: 再现已发表的实验和结果。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 移动的对象、场景和开始状态
- 干预核算和恢复
- 跨实施例和硬件传输限制
参考文章与应用练习
robomimic core team · 技术教程
再现已发表的实验和结果
建议阅读: 在尝试发布复制品之前完成链接的训练和结果教程。
使用重现先决条件来区分可比较的实验和松散相似的演示。
应用练习: 发布用于每个检查点的精确数据集处理、配置和评估指令。
动手实践
- 运行具有可重复重置的预先声明的评估矩阵。
- 发布收集、处理和评估指令以及诚实的故障报告。
完整的演示到评估报告和可再现的工件。
达到这些标准后进入下一阶段
本阶段资源
Study the original bimanual research design. Legacy commercial ALOHA hardware is end-of-life; verify parts and current alternatives.
Examine handheld demonstration collection and how its calibration and action representation transfer to a target robot.
Study a manipulation data-collection workflow and its embodiment and environment assumptions.
常见误区
- 假设更多的演示修复了损坏的时间戳约定。
- 将评估场景混合到训练中而不公开。
下一步怎么走
仅当理解更简单的策略和数据质量基线时才进行VLA比较。
探索其他 科研 条路线 →