机器人深度摄像机:立体、 ToF vs 结构光

机器人深度相机应根据任务体积、物体表面、照明、运动和所需更新时机选择。立体、飞行时间和结构光系统通过不同的光学证据推断深度,因此每种系统都有特征性的孔洞、偏置和干扰。单一公布的精度数值无法描述这些条件。

立体三角定位对应的图像点, ToF估计光的传播时间或相位,结构光则观察已知投影图案的变形。产品系列可以结合主动照明、 RGB、惯性传感器和车载处理,这意味着仅有技术标签并不构成完整的规范。

本指南应与 机器人校准指南机器人传感器融合指南一起使用。用安装在机器人上的摄像头以及将消耗摄像头的下游抓取、导航或检查指标验证深度。

先定义可测量的任务体积

绘制最小和最大范围、水平和垂直视场、机器人姿态、预期遮挡及所需空间分辨率。摄像头可以从一个姿势覆盖工作区,但在运动中失去夹具、搁板边缘或箱角。包含电缆弯曲和保护窗口约束。

将任务需求转换为可测量输出:有效深度覆盖、偏差、重复性、边缘定位、离群值率和延迟。导航系统可能容忍稀疏的远距离深度,而小部件选拔可能因毫米级边缘偏差而失败。

RealSense D435立体深度摄像头安装在小型三脚架上
立体深度相机结合了成对成像仪、红外投影仪和RGB传感器;安装和场景条件决定可用深度。来源:Marc Auledas,维基共享资源。许可:CC BY-SA 4.0

立体深度取决于图像的对应关系

立体系统在左右图像中寻找匹配特征,并从差异、焦距和基线三角定位深度。误差随距离增加,因为差异变小。纹理、曝光、焦点和几何校准直接影响对应关系。

主动立体为纹理较弱的表面添加了投射红外纹理,但强烈阳光或其他投影仪可能会洗淡或混淆这种图案。被动功能在户外仍可工作。 RealSense D400立体文档描述 了产品架构;安装后的机器人仍需自行测试。

方法深度证据典型强度典型失效
无源立体视觉自然图像差异户外纹理空白曲面
主动立体视觉差异加上投影纹理室内低质地阳光或干扰
ToF调制光延迟或相位致密深度多径与饱和
结构光已知的模式变形精准受控场景环境光与运动
传感器融合多重校准源报道与连贯性时间或帧错误

ToF 测量主动光回波时序

飞行时间系统通过脉冲传播时间或相位偏移来照明场景并估算距离。它们可以在紧凑的基线下产生密集的深度,且不需要可见纹理。调制、积分时间和信号强度会影响距离、精度和运动行为。

多径发生在光线通过多个反射到达一个像素时,导致角落附近、光滑表面或复杂几何形状产生偏重深度。非常暗的目标信号较少,反射目标可能过饱和。检查置信度或振幅通道,而不是将每个数值深度视为同等有效。

结构光观察到投射图案

结构光相机投射已知的空间图案,并从其变形推断形状。在受控的室内条件下,它们可以提供对计量和拣选箱子有用的详细表面几何形状。投影仪和相机的几何形状、焦点和曝光必须保持校准。

环境光会降低图案对比度,运动会扭曲顺序图案采集,且多单元可能干扰。工业系统可能使用编码曝光和稳健校准,但周期时间和物体运动必须与捕获方法相匹配。当前的 Zivid知识库 记录了这样一种工作流程。

五阶段机器人深度相机评估工作流程
深度质量必须测量机器人实际看到和移动的地方。来源:物理人工智能实验室。

表面材料需要有意识的失效图

黑色材料吸收主动光,光泽物体产生镜面反射,透明物体通过或折射背景光线。细金属、保鲜膜和湿表面即使颜色相同,失效方式也可能不同。构建一个代表性的物体集,而非通用的校准目标。

将区域标记为有效、不确定、缺失或物理错误。仅保存滤波深度图可隐藏故障机制。保留红外或强度图像、置信值和相机设置,以便追踪误差源于信号、对应或后处理。

状况观察到的症状可能的机制有用的检定
暗表面孔洞或噪声范围低回报振幅或红外图像
光滑表面飞行点镜面反射视角扫描
透明项背深度度透射或折射替代模态
阳光减少有源信号投影仪洗净户外暴露扫除
两台摄像机周期性腐败光学干扰错开捕获测试

测距范围与视场角与机器人姿态相互作用

最小距离可能使握持器或封闭箱内物品物不可见,最大距离则可能提供过小的差异或回波信号。宽视场增加覆盖范围,但会减少每个物体的像素数并放大边缘畸变。评估具体的镜头和分辨率模式。

使用距离和可见度模拟作为筛查工具,然后测量已安装系统的状况。机器人振动、保护玻璃、安装座的合规性和钢索力度可以改变校准。包括工具更换和有效载荷,这些因素会改变相机与任务的几何形状。

时序与同步决定空间精度是否完整

当一个完美的深度帧与另一个时间的机器人姿态配对时,会出错。记录曝光时间、传输延迟和时钟关系,包括深度、 RGB、惯性数据和关节状态。滚动快门和顺序投影可以创造依赖于画面内运动的几何形状。

对于移动的摄像机或物体,测试速度扫描和突然的方向变化。测量规划器使用点云的端到端年龄。硬件触发可能有帮助,但完整的时间戳和缓冲路径仍需验证。

校准包括内参、外参与深度尺度

相机内参描述投影和畸变;相机外参将相机置于机器人或世界画面中;深度尺度将存储值映射到物理距离。温度、撞击、焦点和装载变化都会影响这些参数。每次数据日志中都保留校准标识符。

通过分布在任务体积中的独立几何体进行验证,而非用于拟合的目标姿态。报告任务单元中的残差,检查边以及平面。较小的平均平面误差可能与破坏抓握边界伪证共存。

后期处理必须揭示而非虚构确定性

空间滤波、时间平滑、填孔和异常值去除可以让深度看起来更清晰。它们还会添加延迟、抹黑运动,并用估计值填充未看见的区域。用下游任务证据调校这些数据,保持有效性或信心信号。

在故障时比较原始和滤镜结果。规划器应知道深度何时陈旧或无支持。不要将填充图像转换为安全声明;普通3D相机若不具备完整功能并获得相应的评级和验证,就不是安全传感器。

进行因子场景检验

每次只调整一个因素,涵盖距离、角度、照明、物体材质、相机运动、物体运动和附近的主动传感器。重复足够多次以测量变化。包含预热和工作温度,因为投影和时间可能漂移。

然后将最坏因素结合起来,重现已部署的场景。保存设置、固件、原始流和任务结果。只有当机器人达到其抓取、定位或检查标准,且有有界的失败和明确的备用条件时,摄像头才算通过。

将数据表视为测试假设

制造商的测距和精度值使用标明的目标、模式和环境。 Orbbec的 Femto Mega页面Zivid 3 XL250数据表 是有用的主要参考,但它们的指标不可互换。

记录验收时使用的具体固件、曝光、发射功率、分辨率和滤波配置。更新或重新挂载后重新检查。从测量到的故障图和生命周期支持中选择,而非理想光线下最吸引人的点云。

评估“机器人深度摄像机:立体、 ToF vs 结构光”时,还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中,才能区分模型能力、系统接口和现场流程造成的差异。

成本评估除了设备与算力,还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较,才能判断方案是否适合扩大。

上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程,并为下一轮数据采集和模型更新留下可追溯记录。

  • 定义任务量和下游指标。
  • 测试真正的暗、亮和透明物体。
  • 测量运动、时机和同步。
  • 在整个体积内独立验证校准。
  • 保留原始证据和明确的无效深度处理。

常见问题

哪种深度相机在户外效果最好?

没有任何方法能赢得所有户外场景。强烈的阳光通常会减少主动照明,而被动立体视觉仍然需要有质感和足够的曝光。测试实际的距离和表面。

ToF总是比立体视觉更准确吗?

不。准确度取决于距离、信号、多径、校准、分辨率、运动和滤波。在相同条件下比较任务相关的误差。

深度相机能测量透明物体吗?

有时部分如此,但透射和折射通常会返回背景或无效的几何形状。可能需要替代的光照、视角或感应方式。

更高的深度分辨率能保证更稳的抓取吗?

不会。校准、边缘质量、延迟、遮挡和物体姿态估计可能占主导地位。评估抓取成功率和失效恢复率。

标准深度相机能取代安全扫描仪吗?

除非完整的感应和保护功能为该安全用途设计、评级和验证,否则不适用。普通深度输出不构成功能安全声明。

深度感应应用边界

深度性能取决于具体的相机模式、固件、光学系统、安装方式、场景和后期处理。验证已安装的系统,并保留显式处理以防缺失或不可靠。