开发与系统集成 ·情景路线图

集成传感器并完成感知标定

构建从原始观察到经过验证的几何结构和定时的可追踪传感链。

已审查 2026年10月27日 ·编辑学习和项目指导。专业意味着项目深度,而不是认可的资格。

最终目标

完成后将获得什么成果

传感器验收套件和重新校准操作手册。检测校准或传感假设何时不再成立。

开始之前

需要的基础

  • 基本几何、单位和编程。
  • 了解预期的测量和操作环境。

设备 & 运行环境

从记录的数据开始。使用记录的安装和受监督的设备设置进行物理捕获。

没有固定的完成时间:使用下面的证据门来决定何时推进。资源链接打开botstest目录条目;检查其发布者文档以获取确切的版本和配置。

01

入门

明确必须遵守的事项

根据测量需求而不是标题规格来选择感测。

理解这一阶段

通过任务所需的观测来选择传感器。标题范围并不能对每种材料、表面或视图建立可靠的测量。

结合例子理解

教学示例 · 由 botstest 编写

对于分箱查看练习,比较无遮挡的遮罩对象、部分视图和无效深度返回。标记哪些条件支持测量,哪些条件应拒绝或升级。

  1. 指定测量的数量和场景。
  2. 在处理之前检查原始观察结果。
  3. 列出不支持的和不明确的条件。
遇到问题时

合理的渲染点云可以隐藏缺失或无效的原始观察结果。

参考依据: 几何位姿估计。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 范围、视野和场景限制
  2. 相机内部结构和传感器坐标系
  3. 带宽、接口和时间戳源
参考文章与应用练习

Russ Tedrake · MIT · 课程章节

几何位姿估计

建议阅读: 在配准方法之前从相机、深度观测、缺失返回和部分视图开始。

在标记数据或信任几何估计之前,使用感测假设来识别不可观察的情况。

应用练习: 列出所选传感器无法可靠提供的场景假设和观测结果。

动手实践

  1. 写出一个场景或路线的观察要求。
  2. 检查示例传感器输出并标记无效或缺失的观测结果。
阶段成果

传感要求表和样本数据审核。

达到这些标准后进入下一阶段

本阶段资源

RealSense →

Compare depth sensing against range, scene, calibration and supported software requirements.

Orbbec →

Compare depth-camera options against the actual observation and integration requirements.

Ouster →

Study LiDAR integration, data interfaces and sensing conditions for the route or scene.

02

进阶

校准几何结构和对准时间

检查是否可以在一帧中比较多个观察结果。

理解这一阶段

几何校准和时间对准解决不同的问题。在解释对齐错误之前建立惯例和时间安排。

结合例子理解

教学示例 · 由 botstest 编写

对准相机和机器人对已知目标的观测。恒定的偏移表明与运动过程中增加的误差不同的研究;检查变换和观测时间,而不是盲目调整几何形状。

  1. 验证坐标方向和单位。
  2. 记录校准程序和残差。
  3. 比较静止和移动观察结果。
遇到问题时

如果在静止时对准良好但在运动期间对准较差,则在重新拟合每个变换之前调查定时和采集。

参考依据: 坐标与坐标变换。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 内在/外在校准和安装稳定性
  2. 时钟对准和传输延迟
  3. 参考目标和残留检查
参考文章与应用练习

Kris Hauser · University of Illinois · 课程章节

坐标与坐标变换

建议阅读: 在构成变换之前检查向量和坐标系约定。

使用显式帧约定来捕获反向变换、混合单位和误导性视觉对齐。

应用练习: 在解释对准残差之前验证变换方向和坐标约定。

动手实践

  1. 捕获可重复的目标或参考场景。
  2. 比较对准的相机、深度或惯性观测结果并检查残余误差。
阶段成果

校准包和对准验证报告。

达到这些标准后进入下一阶段

本阶段资源

apriltag · AprilRobotics →

Explore fiducial detection and pose observations with known marker geometry and camera calibration.

Open3D →

Inspect point clouds and geometry-processing results before using them in a perception pipeline.

VectorNav →

Explore inertial measurement and state-estimation integration with explicit calibration and timing.

03

专业实践

操作受监控的感知链

检测校准或感测假设何时不再成立。

理解这一阶段

校准是一种维护配置,而不是一次性证书。物理变化和处理更新需要可识别的版本和验收检查。

结合例子理解

教学示例 · 由 botstest 编写

更换传感器或在受控设置中移动其安装座。使用已知场景来决定在下游导航或抓取结果再次可信之前必须通过哪些记录的检查。

  1. 版本传感器和校准记录。
  2. 定义替换和安装改变触发器。
  3. 改变后重放正常和降级的观察结果。
遇到问题时

保留文件名的软件更新仍然可能改变处理;保留版本和配置标识。

参考依据: 系统集成。以上示例与步骤为结合参考资料编写的教学内容。

按这个顺序学习

  1. 漂移、热变化和场景转变
  2. 数据质量监控及发布记录
  3. 重新校准触发器和组件替换
参考文章与应用练习

Kris Hauser · University of Illinois · 课程章节

系统集成

建议阅读: 关注实时行为、通信选择和开发工具。

使用定时和通信概念来决定在哪里记录故障以及哪个组件拥有恢复。

应用练习: 定义对替换传感器或改变的安装座的时间戳、校准版本和数据质量检查。

动手实践

  1. 定义安装改变、传感器更换或软件更新之后的检查。
  2. 通过处理管道重放正常和降级的记录。
阶段成果

传感器验收套件和重新校准操作手册。

达到这些标准后进入下一阶段

本阶段资源

Rerun →

Visualize spatial observations and compare them with model and trajectory outputs.

Foxglove →

Inspect recorded robot signals and build views that expose timing and system failures.

Luxonis OAK →

Investigate depth and edge-perception hardware in a recorded sensing experiment.

常见误区

  • 将产品范围规格与场景中的可用测量相混淆。
  • 通过改变几何形状来解决时间对准问题。

下一步怎么走

继续利用经过验证的传感链进行感知研究、导航或检查。

探索其他 开发 条路线 →