开始之前
需要的基础
- 基础Python、数组和图像处理。
- 了解传感器观测结果与地面实况之间的差异。
设备 & 运行环境
从许可的现有数据和受控场景开始。仅在适当的同意和治理流程下捕获可识别的人员。
没有固定的完成时间：使用下面的证据门来决定何时推进。资源链接打开botstest目录条目；检查其发布者文档以获取确切的版本和配置。
入门
定义观察结果和标签
将感知问题与可测量的注释联系起来。
理解这一阶段
感知标签代表观察的特定于任务的解释。定义无法观察到的内容与定义可见的内容一样仔细。
结合例子理解
教学示例 · 由 botstest 编写
对于已知对象姿势练习，比较完整视图、部分视图和具有无效深度的帧。确定哪些案例可以支持预期标签，哪些案例需要未知或审查状态。
- 定义观察和目标量。
- 编写歧义和遮挡的规则。
- 用另一个注释者审核小样本。
不可观察的对象不一定是反例；将可见性与类别标签分开。
参考依据： 几何位姿估计。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 检测、姿态和几何任务定义
- 相机内在特性、帧约定和时间戳
- 标签出处、歧义和权限
参考文章与应用练习
Russ Tedrake · MIT · 课程章节
几何位姿估计
建议阅读： 在配准方法之前从相机、深度观测、缺失返回和部分视图开始。
在标记数据或信任几何估计之前，使用感测假设来识别不可观察的情况。
应用练习： 标记哪些观测值丢失、被遮挡或在所选几何模型之外。
动手实践
- 检查小图像或点云样本及其标签。
- 为困难和不可观察的情况编写注释规则。
数据字典、标注指南和样本审核。
达到这些标准后进入下一阶段
本阶段资源
Inspect point clouds and geometry-processing results before using them in a perception pipeline.
Study image processing and camera-related tooling through its upstream project documentation.
Inspect hand-object observations, annotations and evaluation assumptions for a focused perception study.
进阶
构造防渗漏评价
测量有意义的保留分布上的模型行为。
理解这一阶段
来自同一会话的图像可以共享隐藏的依赖性。根据概括性主张而不是便利性进行划分。
结合例子理解
教学示例 · 由 botstest 编写
如果声明是在新捕获会话上的性能，则将整个会话放在一起。在使用随机分割之前检查接近重复的帧和重复的对象，随机分割可能会在分区之间分布几乎相同的证据。
- 选择预期保留的变体。
- 创建可再现的分割清单。
- 按场景和观察条件报告错误。
出乎意料的优异评估结果应该在更强的模型声明之前触发泄漏审核。
参考依据： 交叉验证：评估模型表现。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 场景、对象和会话分割
- 校准质量和传感器对准
- 精确度/召回率或适合任务的错误定义
参考文章与应用练习
scikit-learn developers · 实践指南
交叉验证：评估模型表现
建议阅读： 阅读保留的评估讨论和适合您的数据依赖性的分割策略。
使用依赖性感知分割来保护保留的证据免受训练和调整决策的影响。
应用练习： 创建捕获会话或对象级分割并检查故意接近重复的样本。
动手实践
- 按任务需要的捕获会话或对象来划分。
- 比较正常、遮挡和偏移观察的简单基线。
版本化数据集分割和基线评估笔记本。
达到这些标准后进入下一阶段
本阶段资源
Inspect a manipulation dataset and its collection conditions before designing training and evaluation splits.
Study a manipulation data-collection workflow and its embodiment and environment assumptions.
Explore fiducial detection and pose observations with known marker geometry and camera calibration.
专业实践
发布具有诚实范围的数据集
使数据可重复使用并且其局限性可见。
理解这一阶段
可重复使用的数据集解释了原始观察结果如何变成发布的样本。保留数据的出处、约定和限制。
结合例子理解
教学示例 · 由 botstest 编写
选择一个发布的情节或图像并重建其捕获会话、校准、处理和标签决策。请同事仅使用已发布的元数据重现评估。
- 编写数据字典和权限说明。
- 版本处理和注释决策。
- 公布评估者和分布限制。
具有未命名的变换和未记录的标签的数据集文件夹不能支持可靠的重用。
参考依据： 乐机器人数据集v3.0。以上示例与步骤为结合参考资料编写的教学内容。
按这个顺序学习
- 数据集文档和使用权利
- 传感器和场景分布报告
- 模型置信度、漂移和下游后果
参考文章与应用练习
Hugging Face · LeRobot · 参考文档
乐机器人数据集v3.0
建议阅读： 在修改或组合剧集之前检查数据集结构和元数据。
使用数据结构来使事件、观察、动作和处理来源可检查。
应用练习： 发布数据组织、版本和出处，以便另一位研究人员可以重建情节。
动手实践
- 准备具有收集、处理和分割细节的数据卡。
- 让第二位研究人员根据已发布的元数据重现评估。
数据集卡、可重复的评估器和限制报告。
达到这些标准后进入下一阶段
本阶段资源
Examine multi-embodiment demonstration data, metadata, licenses and action conventions.
Explore object assets with provenance and license checks before including them in simulation.
Visualize spatial observations and compare them with model and trajectory outputs.
常见误区
- 随机分割相邻视频帧并调用结果概括。
- 使用渲染数据或人类视频数据，就好像它是机器人动作地面实况一样。
下一步怎么走
使用相同的数据和评估合同扩展到操纵或工业检查。
探索其他 科研 条路线 →