飞行时间(ToF)传感器将自动驾驶应用推向市场

10年前，索尼、微软和松下首次在基于手势的游戏控制(微软Kinect)、手机和其他消费电子产品上发布了飞行时间(ToF)相机技术，这是该技术首次广泛应用于商业。早期传感器的二维、角度和深度分辨率较低，速度较慢——对于消费类电子产品来说非常好，但对于安全至关重要的工业应用来说就不太好了。

如今，一些机器视觉公司不仅有能力推动ToF传感器的开发，而且，随着索尼在2015年收购Kinect, Teledyne收购e2v, IFM Effector拥有PMD Technologies，他们还拥有制造ToF传感器芯片的晶厂。这将导致更多的商业选择，并在整体性能上完美地匹配物流、自主机器人和相关应用程序的需求。

Hydra3D, Teledyne公司的3D飞行时间传感器

ToF是什么?

ToF系统包括一个照明光源(通常是激光二极管或基于led的结构光源)和一个ToF传感器。光源发出一个脉冲。每个像素测量光线返回所需的时间，并根据往返的长度确定到物体的距离。ToF的一种变体称为间接飞行时间(iToF)，为传感器提供了一种更简单、更经济的电子设计，它测量的是相位变化而不是时间。距离的准确性随着距离物体的远近而下降。传统的ToF摄像机可以很容易地工作到30或40米，而iToF摄像机通常最适合中程应用，在5至7米范围内，对于自动移动机器人(AMRs)和自动叉车等自动地面车辆(agv)非常适合。

Teledyne的市场经理Yoann Lochardet解释说:“一些应用，如先进物流、工业安全或绘图，都在寻找更高分辨率的传感器——目前市场上的分辨率通常是VGA或更低。”“其他应用，如工业AGV、[智能交通系统]和汽车，都在寻找能够捕捉快速移动物体的传感器，因此不需要运动物体，通常帧率很高。此外，大多数以前的应用(以及其他应用，如无人机)也在寻找高动态范围传感器，以增加距离和/或物体的反射率范围。”

Lochardet Teledyne e2v的股票最先进ToF Hydra3D传感器,它的分辨率832 x 600像素——远高于标准VGA分辨率的最大帧速率为416.7 fps 12位,最低20 ns的积分时间,three-tap像素最小化对移动对象运动的构件。由于3D ToF应用程序的帧率可能会根据应用程序的要求发生很大的变化，因此Hydra3D为用户提供了优化关键应用参数的灵活性:分辨率、距离范围、精度、3D帧率，这取决于距离范围的对象反射率，等等。hydr3d还为户外应用提供了高动态范围，阳光寄生可以减少范围和分辨率，无论距离远近，都可以看到低反射和高反射的物体。最后，Hydra3D集成了片上功能，允许多个ToF系统在同一区域内工作，互不连接，互不干扰。这是自动系统的一个主要区别，自动系统通常使用多个摄像头来感知大的操作空间。

即使在强烈的阳光下，Basler blaze 3D摄像机也可以可靠地检测货物。

根据应用需求匹配ToF传感器

虽然ToF传感器最初是由消费电子产品驱动的，但Basler负责3D图像采集的产品经理Martin Gramatke解释说，该技术已经发展到机器视觉也可以利用它的程度。虽然ToF 3D测量精度(通常以毫米或范围的百分比进行校准)可能不足以满足所有工业应用，但对于许多机器人拾取任务，其精度足以满足手大小的物体，特别是如果放置精度不需要很高的精度。这使得ToF技术更适用于机器人的取放应用，而不太适用于取放应用。Gramatke说，ToF传感器采集时间在毫秒范围内，使用ToF 3D传感器技术可以很容易地实现500毫秒的周期。

Gramatke说:“物流应用程序的精度要求通常较低。“一个常见的应用是对包裹、盒子、袋子、手提箱和托盘等货物进行尺寸划分，以优化存储和运输空间。对于许多物流应用来说，精确到2厘米的边界框已经足够好了。”

他继续说道:“测量过程中，这些物体经常在移动。因此，完整的获取时间很重要，而不仅仅是一次曝光时间。火灾的巴斯勒(ToF相机),它需要至少四个帧,从而在相对较短的采购周期15”女士Gramatke补充说,鉴于ToF的周期时间,硬连接编码器触发器工作比软件触发,它可能只捕获部分盒子准尺寸如果目标移动。

对于更大的项目，如托盘，终端用户需要一个以上的ToF相机，以测量尺寸从各个方面跨越一个大的工作信封。ToF摄像机会相互干扰——一个传感器会把另一个传感器的照明脉冲误认为自己的。Teledyne公司的Hydra3D在传感器层面解决了这个问题，而Basler公司的blaze则提供了调节每个摄像头频率的能力，以减少干扰。两个不同频率的相机干扰明显更小。

范围:自动和融合解决方案

测量运输和存储的大型托盘可能需要多个ToF传感器，类似于多摄像头3D可见成像解决方案。但由于ToF的独特传感模式，它更像雷达收发器而不是可见相机接收器，不仅测量强度，还测量时间和相位，ToF的距离成为一个更大的问题。虽然可视摄像机可以简单地在传感器前放置放大光学元件以“看得更远”，但ToF系统无法利用每个环境光源来确保良好的对比度，从而实现精确的3D测量。

自动驾驶汽车有各种各样的ToF摄像头的任务，特别是障碍物检测、定位和挑选或放置物体，如托盘。定位需要较长的距离，而障碍物检测需要较低的延迟以快速反应，在许多情况下需要更广阔的视野。只要车辆以步行速度行驶，ToF相机的测量范围就足够了。为了获得更高的速度，你可以使用具有扫描ToF原理的激光雷达。ToF摄像机不是经过认证的安全设备，所以它们必须与其他传感器形式结合使用。“Basler火焰——具有耐阳光、坚固的设计，包括IP67保护、M12连接器、防震和防震，以及镍涂层，以承受不利的环境条件，使其成为户外使用的理想工具，”Gramatke说。

IFM effectors的O3R生态系统的核心是简化多头ToF相机与激光雷达和其他传感器的融合。O3R目前包括Windows/Linux/ ros兼容的软件开发工具包，用于优化IFM的3D机器人解决方案，将很快扩展到包括摄像头和处理硬件，这将减少“自主机器人应用程序设计师开发多模式AMR感知解决方案所需的摩擦，而成本仅为目前的一小部分，”IFM机器人感知业务开发主管Garrett Place解释道。

和Teledyne一样，IFM也拥有自己的ToF传感器公司PMD Technologies。该公司最初为消费者应用开发ToF 3D传感器，但最近增加了一系列iToF解决方案，成本大大低于大多数工业ToF相机。Place说:“传统的ToF相机在更长的范围内比iToF更精确，但传统的ToF的像素成本也高得多。”“如果你不需要超高的精确度，那么你可以使用iToF节省大量资金。我们可以用间接ToF将探测范围扩大到20米，30米外，因为我们拥有硅，超大像素和强大的光源，但这不是一个微不足道的成就。然而，最适合我们技术的可能是在5- 7米范围内，这是大多数工业应用的完美选择。”

Place表示，在进一步推广AMR和AGV时，不仅仅是一个摄像头或传感器;这是为了更容易地将多个相机头和传感模式合并到一个数据流中进行处理。IFM的O3R解决方案将允许自动系统设计师包括多达6个iToF摄像机和一个基于英伟达的处理单元，用于接受成像和激光雷达系统，价格低于3000美元。

“您需要激光雷达和iToF摄像头，因为AMR需要收集大面积的3D数据，不仅在设备前面，而且在地板上和悬挂在上面。如今，ToF摄像头本身不擅长识别地板上的凸起或孔洞，或者可能被自动叉车夹住的架空电缆。我们的解决方案消除了fri“设计师在尝试整合自主感知系统的关键组件时面临的挑战，”Place说。

IFM“翻转了脚本”，以降低其摄像机的成本，将几乎所有的处理过程从摄像机中取出，并将原始数据传递给专用的IPC。普雷斯说:“过去，IFM专注于相机、组件、硬件或软件。但我们意识到，我们的客户需要一个整体的解决方案，使开发这些系统更容易和更便宜。不应该只有《财富》100强公司才能从AMR解决方案中受益。”

真正的感觉和真正的机会

英特尔最近宣布，它打算关闭其RealSense 3D传感器生产线——这对视觉行业的许多人来说是一个冲击——其他具有成本效益的3D解决方案的机会从未如此光明。

Teledyne公司的Lochardet总结道:“基于目前的市场状况，ToF传感器的市场份额将继续增加，ToF技术将被越来越多的市场所采用。”“不仅用于纯粹的距离测量，还可以改善随机照明场景(监控、汽车、消费者等)的图像分割。因此，这项技术的创新将继续提高分辨率、精度和速度，同时保持甚至降低生产成本。”

毕竟，当你能以低于标准工业3D摄像机的价格购买360度传感解决方案时，仓库地板可能真的会成为下一个杀手级应用。