无人机视觉:鸟瞰机器视觉的新兴市场

当我们上次调查机器视觉应用于无人驾驶飞机系统(UASs)或无人机的机会时，前景强调了国防应用的优势。虽然国防仍然推动着该领域的前沿创新，但民用应用已经起飞，并随着它们，视觉组件的应用和机会也越来越多——从改进无人机导航和安全到从迄今为止具有挑战性的角度捕捉图像数据。

从2015年底开始，美国联邦航空管理局(FAA)开始对所有拥有至少一架重量在0.55至55磅之间的无人机的民用用户进行登记。截至去年12月，该登记处列出了超过90万名所有者驾驶的无人机，估计有125万架。在早期，业余爱好者占据了主导地位。但商业应用的数量现在开始飙升。FAA在2017年预测，到2019年底，将有22.94万架商用无人机注册。但在2018年结束之前，注册人数就超过了4.8万。联邦航空局目前预计，到2023年，商用无人机的数量将超过83.5万架。

在此期间，媒体头条报道了越来越多的无人机应用，包括评估农田、绘制建筑工地地图或检查风力涡轮机。所有这些用途都值得仔细研究。但这些故事经常忽略的是，机器视觉已经成为无人机基本操作的基础。

考虑收。作为世界上最大的民用无人机制造商，该公司自成立以来在所有产品中都嵌入了面向地面的CMOS传感器。这些芯片不是安装在飞机上的摄像头，不是用来从200英尺高的地方捕捉房地产信息或当地足球比赛的。相反，它们提供了一个恒定的视觉参考点(即，紧接在下面的地面)，再加上机载内存和人工智能，使大疆无人机能够在飞行员系鞋带时出现阵风时精确地盘旋在适当的位置。188金宝搏下载界面如果低电池信号自动召回DJI无人机到它的起飞坐标，GPS传感器将把它送回几米内，但嵌入的CMOS芯片将导航最后几厘米的精确着陆。

DJI北美高级通信经理Michael Oldenburg表示:“在我们最新的工业无人机上，正面、背面和侧面都有视觉传感器，顶部和底部都有红外飞行时间传感器。“所以，你有全方位的障碍物探测传感器，为先进的飞行员辅助系统提供支持。它们简直就是会飞的机器人。”

与任何视觉引导机器人一样，技术成熟度可以通过机器人控制系统从视觉数据中获得的额外精度或功能来衡量。大疆提供的关于其无人机飞行控制组件的细节有限。但更高端的机型，如Mavic 2或Matrice 200四轴飞行器，集成了制导传感器套件，从5个CMOS成像器和超声波传感器收集数据，使用基于fpga的硬件加速模块和两个ARM Cortex-A9核心，并通过can总线电缆将其输入飞行控制系统，或通过USB或UART电缆将其输入其他智能系统。

因此，即使在高速飞行时，无人机也能自动适应不利的环境条件或飞行员的失误。奥尔登伯格说:“如果你把它飞向电线杆，无人机就会提醒你。”“以前，如果你继续直直地向前按压棍子，无人机就会停下来，在杆子前面盘旋。但现在，它利用想象力，在没有你参与的情况下，绕过障碍，并继续前进。”

无人机在工作
无论是用于业余爱好还是商业投资，如今市场上几乎所有的无人机都安装了额外的摄像头，用于导航和避碰以外的用途。大多数普通用户和许多商业用户可以通过类似的分辨率12mp和4k质量的60帧/秒的手机视频勉强度日。这适合拍摄独特的度假照片，或者，在总部位于瑞士的Flyability公司，用于检查基础设施。

该公司的业务是利用“抗碰撞”无人机对矿井、桥梁桁架、甚至核能储罐内部等通常无法进入的空间进行视觉检查。虽然飞船飞行的埃利奥•2四轴飞行器携带热感摄像机,它的主力是一个光线CMOS成像与一个有效的12.3像素的像素计数提供分辨率为0.18毫米/像素30厘米——关于一个检查员将距离——这足以发现亚毫米裂缝基础设施。

虽然具有创新性，但Elios 2是一个非典型的视觉应用程序，用于提供鸟瞰图的平台。Oldenburg表示，虽然12mp分辨率的相机经常被使用，但大疆的Phantom 4 Pro和Pro RTK是商业应用(尤其是建筑和农业应用)的主力，它们在1英寸CMOS传感器中提供了相当于2000 MP分辨率的分辨率。

Oldenburg说:“传感器的尺寸对于2D测绘或3D测绘应用都很重要，因为它允许无人机飞得更高，也可以捕捉到大量的细节。”“通过获取更多信息，无人机可以更快地完成任务。”

值得注意的是，Elios 2执行的近距离检查也允许使用相对轻量级但低分辨率FLIR Lepton 3.5热感摄像机，该摄像机依赖于160 x 120焦平面阵列。FLIR系统公司全球sUAS部门负责人Randall Warnas表示，无人机热感摄像机更典型的基准分辨率是QVGA (336 x 256像素)或VGA (640 x 512像素)。

他说:“温度传感器建议在给定的目标物体上安装10 × 10像素的传感器，以可靠地检测和测量温度。”“考虑到所需的典型距离和640 × 512分辨率的热成像相机，19毫米镜头非常受欢迎。在绘制地图时，商用无人机操作人员使用了大约80%的飞行方向重叠和80%的侧视。”

根据Warnas的说法，热成像无人机的用途大致分为两类:一类是用于公共安全领域的消防、执法和搜救，另一类是用于公用事业、太阳能场、屋顶和建筑的商业检查。不过，在无人机上安装可见和热感摄像机也在农业领域获得了好处，农民可以检查大片土地，并提供有关作物和牲畜的丰富数据。例如，在无人机上添加一个热感摄像机，它可以帮助你找到在重型掩护下或崎岖地形下的牛群。或者，正如德克萨斯农工大学的研究人员所做的，将Zenmuse XT 19毫米非冷却微辐射热计摄像机安装到由大疆制造的Matrice 100无人机上，以深入了解来自象群的热信号如何加速检测压力或疾病。

非雇佣引航员
虽然无人机送披萨或电子商务订单仍处于投机阶段，但行业分析师一致认为，零售应用有一天会超越所有其他应用。比如，Coherent Market Insights预测，由于无人机在电子商务运输和物流行业的应用越来越多，到2026年，全球无人机送货市场将实现22.3%的复合年增长率。与此同时，亚马逊、谷歌、沃尔玛、UPS，甚至7- 11等企业都在积极探索这项技术。

但在无人机开始送货之前，该行业还需要克服几个正在出现的监管障碍。例如，美国联邦航空局正在制定一项要求，要求采用一些方法来远程识别飞行中的无人机，以及开发通用交通管理系统(UTMS)。目前，美国和欧洲的监管机构还要求所有机载平台都能“看到”其他飞机。在实践中，这意味着无人机必须在飞行员或与飞行员直接通信的观察者的视线(VLOS)内操作。

车载机器视觉无法满足所有这些监管需求。甚至VLOS命令也可能更容易由UTMS解决。然而，许多障碍——飞行或其他方面——可能会中断无人机的投递路径。因此，机器视觉很可能在避免碰撞和提高飞行精度方面发挥作用。

FLIR公司的Warnas表示:“超越视线将是无人机行业的下一个必经之路，在那里我们可以预期需求和用途将出现激增。”“我们看到了完全自主的任务，但它可能还需要几年时间才能普及。”他补充说，关键是首先将重点放在适当的地点(例如，偏远地区还是城市)、没有可行的VLOS替代方案的任务(例如，第一反应者)以及在安全和财务成果方面投资回报非常明显的地区。

换句话说，通往无人驾驶飞机的道路或飞行路线将逐步向前推进。但随着人类飞行员和VLOS逐渐退出无人机应用，机器视觉的机会将成倍增加。