三维机器视觉在航空航天工业中的应用

军事/航空航天行业通常是许多技术发展的先驱，因为他们财力雄厚，重视质量和安全。对于制造业应用中基于3D的机器视觉系统来说，情况就是这样。虽然他们没有支持该领域的大量研究，但该行业通常是该技术的早期技术采用者。

有趣的是，该行业采用了许多技术方法：一种或另一种干涉测量方法，立体对应，包括三个摄像头的版本，各种结构光方法，今天，这些方法是车间工具，以确保组件和单个零件是正确的。
商业点云管理软件的可用性，以及DMIS标准和基于硬件的计算能力的进步，使得近实时进行全面的3D测量成为可能。应用范围从测量相对较小的零件（如机翼）到测量飞机的完整尺寸。

本文的输入来自所有已知的用于航空航天/军事制造应用的基于3D的机器视觉系统供应商。以下是对我们的问题的善意回答：

• Bernd-Dietmar Becker博士，激光扫描仪营销和产品管理主任，Faro Technologies，Inc。（佛罗里达州玛丽湖）
• James Gardner，Metris（密歇根州布莱顿）大容量计量的美国业务发展总监
• Don Waterman，业务发展副总裁，netec (Kanata, Ontario)
• Giles Gaskell，商业发展，Nvision，Inc。（德克萨斯州南湖）

1.您能否描述一下您的3D机器视觉产品线，特别是针对航空航天/国防制造业的应用，并讨论一下如果您提供的产品不止一种，您是如何区分针对这些应用的产品的?
[Bernd Becker - Faro Technologies，Inc。]我们没有特定的机器视觉产品线。客户使用我们的激光扫描仪LS 420（20m范围）或880（80米范围）。它非常快 - 每秒120,000 3d点。

[詹姆斯·加德纳-Metris]我们为单点或物体6D位置的光学跟踪提供两种解决方案(配备多个跟踪传感器):

• K系列-在这种情况下，配备3个线性阵列数码相机的“摄像头”可以观察红外LED的位置，并基于三角测量计算其位置。单个摄像机的测量体积限制为17m³，但跟踪频率可高达1000 Hz，从而实现对物体的真正动态跟踪。
• iGPS(红外GPS) - Metris公司的iGPS是一种模块化系统，通过在设施内安装发射器网络，可以建立一个几乎不受限制的室内GPS环境。在该测量环境中，传感器接收来自这些发射器的信号，并根据信号相关信息，计算出这些传感器在三维空间中的精确位置。为了支持飞机部件的对准和装配，传感器被安装在飞机部件上，以获取这些部件的精确位置和方向。

这项技术的优势在于：

• 通过向网络中添加更多变送器，可以轻松扩展测量体积
• 测量精度与测量体积无关
• 距离较少的视线问题：传感器足以在范围内具有两个发射机，从而在网络内产生冗余。
• 系统性能不取决于使用的传感器数量，因为每个传感器独立工作。这意味着当一个房间启用iGPS时，多个测量应用程序可以并行运行。

与K系列相比，iGPS的测量频率在1到40 Hz之间，具体取决于所需的精度。这意味着iGPS仅限于伪静态应用。

iGPS是一种模块化、大容量的跟踪系统，可在工厂范围内实现多目标的测量精度定位，适用于制造和装配。iGPS主要用于航空航天制造商，但也被汽车和工业制造商用于定位和跟踪应用。

对于非接触式表面扫描，Metris提供了两种解决方案:

• 激光线扫描仪-在这种情况下，激光线投影在表面上，而该线的投影由CCD摄像机观察。通过三角测量，通过三角测量计算线上每个点相对于扫描仪的位置。扫描仪安装在确定扫描仪位置的“定位器”中。该定位器可以是三坐标测量机、铰接臂，也可以使用动态跟踪系统（如K系列）监测探头的位置。
  
  Metris的激光线扫描仪有多种版本：
  • 基于CMM的高精度扫描的LC15（例如涡轮叶片）
  • LC50用于基于CMM的通用扫描
  • XC50交叉扫描仪，包括三条激光线，用于高生产率检查功能，如板金属或复合材料零件的孔
  • ModelMaker系列手持式扫描仪安装在铰接臂上
  • K-Scan手持式扫描仪具有大工作量，无需电动臂或铰接臂（K系列光学跟踪等机械定位器）
  • K-Robot-这是K-Scan的工业版本，用于机器人的自动扫描。

Metris不仅提供扫描仪，还提供CMM、铰接臂（MCA）和点云采集和处理软件（Focus系列）。

激光线扫描仪的优点是，它们在短时间间隔内提供大量测量点，例如80000点/秒。另一方面，直线激光扫描仪的位置必须相对靠近表面（通常在50至200 mm的间距之间）。

• 激光雷达-使用激光雷达，将红外激光束投射到测量表面上。通过将激光束的方位角和仰角与激光源和反射点之间的距离相结合来计算测量点的坐标。与激光跟踪器不同，激光雷达只需反射一小部分激光功率，即可计算到反射点的距离。由于不需要反射器，激光雷达测量不需要操作员爬到测量对象上，测量可以完全自动化，便于夜间检查。

激光雷达的测量体积可达60米半径。与激光扫描器相比，激光雷达是一个一个地测量点。这新一代的计量仪器精确测量大规模的几何形状，而不需要摄影点，激光跟踪仪球形安装反向反射器或探头。自动测量功能，节省测量时间和人力。

最后但并非最不重要的一点是，Metris Integration Services帮助客户成功部署基于计量的制造解决方案，包括内部解决方案，如iGPS、激光雷达或光学CMM、第三方3D测量解决方案以及相关硬件和软件，为大型项目提供完全自动化的系统。

[Don Waterman，Neptec]Neptec在NASA航天飞机的星载视觉系统和3D成像系统的设计、建造和运行支持方面拥有超过10年的经验。在此期间，Neptec提供了两个主要的视觉系统：空间视觉系统（SVS）和激光相机系统（LCS）。

SVS分析和处理来自一个或多个摄像机的物体的视频图像。这些物体通常是由空间站遥控操纵器系统(SSRMS)和航天飞机遥控操纵器系统(SRMS)操纵的有效载荷。目标区域位于目标上预先确定的位置。通过了解场景中每个物体上的目标阵列的几何形状，SVS利用摄影测量过程，计算出相对于观看相机的每个物体的位置、方向和移动速率。有了观察相机的位置和方向的知识，SVS然后得出每个物体相对于任何其他参考点的位置和方向。

位置、方向和速率信息以字符和图形的形式呈现给操作者。一旦配置好，SVS就会连续运行，只要目标还在相机的视野范围内，就会跟踪目标。它是实时操作的，通过每一帧视频生成物体的位置和方向的新测量值。

LCS是一种红外，自动同步三角测量激光传感器，用于在轨道喷气机系统末端的空间的严格中运行。该传感器提供了用于TPS On-Orbit检查的穿梭热保护系统（TPS）的2D图像和3D数据。LCS的软件包括NEPTEC开发的机器视觉算法和熔断器2D和3D数据的工具，以最大限度地在关键决策期间最大化可用于梭式飞行操作的信息。

Neptec已经在过去的几年中,扩大业务进入工业自动化市场的发展导致三维非接触激光测量系统(LMS)在线和离线短程和介质体积计量的应用程序提供一个解决方案快速、精度高、三维测量。LMS设计基于LCS技术，提高了性能特征，在每秒20000点扫描的情况下，测量精度可达0.002英寸或更高。该系统包含一个红色的，完全可操纵的激光器，并能够在30°30°视野。可控激光束允许用户在几秒钟内扫描整个视野，选择视野的一部分，并在第一次扫描上重叠第二次高密度扫描。它还允许用户定义特定的光束轨迹，以仅捕获重要特征的数据。

当LMS扫描感兴趣的物体时，它生成一个独立的空间数据点云，这些数据点经过标定后，被转换成感兴趣物体表面上点的三维空间坐标。LMS计算感兴趣目标的高分辨率、三维(3D)地物地图或感兴趣目标上离散目标点的位置。可以在模型上的点之间进行测量，这些点可以被转换成真实世界的坐标，或者与设计模型(例如CAD)进行比较，后者提供了高分辨率、复杂几何和损伤区域的详细检查能力。

LMS的其他特色包括:

• 精度-在所有三个轴上提供25微米的精度。
• 大扫描区域-Neptec LMS系统可以扫描1.15米的区域²地区Neptec LMS光学扫描仪与市场上扫描相对较小体积的竞争性激光条纹扫描仪相比具有显著优势。
• 尺寸-与许多其他激光条纹扫描相机一样，netec LMS系统体积小、重量轻(<5公斤)、紧凑且便携。与激光条纹系统相比，netec系统具有竞争优势，在激光条纹系统中，扫描仪配置需要固定在三坐标测量机或机械臂上。
• 易于使用- netec LMS系统设置简单，易于使用，如单点激光和激光条纹系统。
• 消除硬刀具 - Neptec LMS计量系统不需要夹具或夹具来定位相机视野中的零件。模型和设计更改通过软件并入系统中。

[Giles Gaskell–Nvision]与大多数激光或白光点数据采集设备不同，我们的系统旨在在生产环境中进行检查。它的多轴自动化，以及它可以扫描非常闪亮甚至透明的物体而无需涂层的事实，标志着它与众不同。

2.您的产品涉及哪些与航空/国防制造业相关的基于3d的机器视觉应用?
[詹姆斯]

• 激光线扫描仪用于检查涡轮叶片的尺寸和自由复合材料部件的形状。
• 激光雷达主要用于大规模的检测应用，如对机翼、机身、发动机外壳、天线等的检测。
• iGPS在航空航天领域的主要应用是机身和机翼等大型部件的装配。通过在每个待组装零件上安装传感器，可以高精度地评估它们的相对位置，并自动进行校正，以便在组装前使两个零件完全对齐。
• iGPS和K系列还可用于精确定位和跟踪制造工具，如钻孔、铆接或喷漆机器人或激光投影系统。
• 基于k系列的自适应机器人控制，实现了工业机器人在可变负载条件下的高精度定位。

(唐)发展物流管理系统的目的是解决以下应用领域:

• 零件识别（识别）智能-零件识别能够向用户提供被扫描零件的识别。此功能要求用户向LMS系统输入可用于识别零件的几何参数。几何参数可以是直径、深度、位置和数量、零件宽度和高度。
• 零件接受/拒收能力——零件接受/拒收能力包括将扫描零件的特征与预先定义的公差要求进行比较。在使用CAD工具开发的已设计三维模型中存在尺寸公差要求。
• 零件请求/移交能力-具有在线加工中心的生产线中的零件请求/移交能力。当零件完成质量检查后，可能会要求新零件，或者如果零件未通过质量检查，则可能会将零件移交给另一个加工中心进行返工操作。零件请求/移交能力的评估包括将测量特征与CAD零件尺寸进行比较，接受或移交给加工中心进行返工，并通知用户。
• 变形检测能力-通过测量表面的平面外位移(正面或负面)来检测飞机面板组件的损伤，从而检测变形(冲击损伤、腐蚀等)。
• 间隙和齐平测量能力-间隙和齐平测量是装配质量检查。间隙和齐平测量用于验证匹配组件的配合，如门到门框架、汽车仪表板到窗框、座椅到车内框架。

(Giles)需要100%检查的机加工零件，如飞机涡轮零件。

[伯纳德]大型泵壳的质量保证(QA)，大型锻造物体(如曲轴)的中心线检测，库存应用中的体积捕获，机器视觉模拟和优化的任意环境捕获。在港口三维规模桥梁、模具质量保证、起重机臂等领域将会有更多的产品问世。

3.您已经解决的航空航天/国防制造业中最困难的3D基础机器视觉应用是什么？什么是一些特定的应用问题（吞吐量，外观变量，位置变量，线路集成问题等）？
(Giles)测量燃气轮机喷嘴中紧密排列的叶片的轮廓。所有要测量的表面都能被看到，但视线与表面的角度非常尖锐。我们的系统只需要与地面的10度角来测量，这使得它能够解决这个极其苛刻的应用。

[伯纳德]只要我们的准确性和噪音和周围品质都可以，就没有。我们培养了进一步的噪音和准确性素质，以扩大我们的应用范围。

[詹姆斯]由于其尺寸、严格的制造计划、对深度自动化的需求以及通常针对客户的集成，大多数航空航天应用都面临着重大挑战。Metris集成服务集团专门成立，通过与客户密切合作，将Metris技术顺利集成到制造过程中，从而克服这些挑战。

最具挑战性的项目之一是在一家主要飞机供应商组装全机期间的计量指导。其目标是在尽可能短的时间内准确对齐要装配的零件，以减少总装配时间。这需要在可能发生温度变化和振动的装配大厅进行高精度测量。Metris Integration Services开发了一个专门的解决方案来解决这些问题。

4.您能否就嵌入基于3D的机器视觉产品的原则提供一些洞察力？
[伯纳德]相移距离传感器。

(Giles)该系统使用了一个聚焦的白光点和一个安装在传感器中的摄像头，该传感器最多可提供7个运动轴。

5.您能否就基于3D的机器视觉产品的具体硬件/软件实现设计提供一些见解？
(唐)自动同步三角测量扫描。

[詹姆斯]Metris Integration Service Group开发了一个以过程为中心的工作单元管理工具包，用于简化，自动化和错误证明航空航天制造工艺。最大生产率来自能够驱动这些工具以制造过程本身为中心的软件。使用核心基础层架构，可脚本过程引擎和配置，过程管理可以实现所有对齐，检查，投影和机器自动化任务的管理和指导。无论是否需要通过激光指导进行半自动化手动组装或检测过程，自动化JIG检测程序，或在6 DOF中同时跟踪和对齐配合组件，核心软件控制整个过程。空间分析仪是最常用的软件应用程序，用于使用激光雷达分析结果。

(Giles)传感器安装在传统的三坐标测量机框架上。

6.在过去一年中，您在现有产品的基础上推出了哪些新的基于3D的机器视觉产品或进步？它们的产品是否专门针对航空航天/国防制造业？
[詹姆斯]Metris引入了Metris集成服务组。因此，Metris顺应了一种趋势，即主要航空航天制造商希望其供应商将其解决方案集成到其制造过程中，而不是自己动手。
该团队的一些成功实施是之前提到的飞机组装解决方案或用于在铆接机下精确定位飞机蒙皮部件的自适应机器人控制解决方案。

(Giles)MAXOS机器及其扫描高度抛光甚至透明表面的能力。

[伯纳德]到2008年，还没有一家公司的噪音和准确度会更好。

7.历史上是在航空航天/国防制造业采用基于3D机床视觉系统的障碍，以及在航空航天/国防制造业中更广泛应用3D基础机视觉系统的障碍是什么？
[伯纳德]测量质量、单位坚固性、价格、集成接口、传感器体积、传感器重量。

(Giles)对于非接触式扫描设备的校准，从来没有公认的ISO标准。MAXOS可以根据10360-2进行校准，因为它基于CMM，可以测量闪亮的校准伪影。

[詹姆斯]

• 激光线扫描仪采用的主要障碍是其原理与传统的触摸触发方法完全不同。这意味着必须采用计量方法，这在计量界并不明显。此外，缺乏激光扫描精度标准也无济于事。
• 激光雷达和iGPS等创新产品的障碍主要是由于缺乏行业参考。随着我们目前的成功实施，这将迅速改变。
• 将计量学引入制造过程需要测量工具和生产工具之间的顺利集成。这就是为什么Metris建立了集成服务团队。

8.与基于3D的机器视觉产品的技术基础设施相关的哪些进步使您的最新产品（光学、照明、视觉硬件、视觉软件、相机等）具有更严格的性能（可靠性、重复性、准确性等）？那么，这些进步在价格/性能方面的具体优势是什么？
(Giles)改进的光学，提高精度和软件改进，提高数据收集的速度。价格/性能方面的好处是它可以替代的传统三坐标测量机的数量增加了。

[詹姆斯]使用改进的光学器件、用于自动测量的精确编码器、用于保持恒定质量的优化校准算法、旨在将测量工具集成到制造过程中的软件开发。

[伯纳德]价格表现随着我们提高上述装置的性能而改善，并保持价格稳定。

9.您预计在未来2 - 3年内，基于3d的机器视觉技术(视觉引擎、照明、摄像机)将发生哪些变化，从而产生更好的性能，并有能力解决更多的航空航天/国防制造业应用?
[詹姆斯]系统性能的改进主要来自底层DSP和应用软件的进步。DSP软件将改进精度（噪声滤波，误差，更详细的校准模型），增加测量稳健性（自动适应材料和环境条件的测量设定），并增加测量速度（更多DSP电源）。

在应用方面，重点将是将测量工具集成到制造和装配过程中。

[伯纳德]如上所述，减少尺寸，重量，噪音，价格，增加坚固性，准确性和界面。

(Giles)更快的数据收集。更好的点分辨率和精度。

10这些变化将如何影响航空航天/国防制造业？
(Giles)加速制造商对复杂加工零件进行100%检测的能力，并消除在许多情况下是昂贵的瓶颈。

[伯纳德]一般不知道这一点-但这将影响传感器的密度及其智能，从而使机器更加独立，运行人员更少，以及更加安全和高效（例如在采矿中）。

[詹姆斯]更快、更精确的生产和装配。通常，这将使熟练人员从劳动密集型测量任务转移到工程和分析任务。

11.在航空航天/国防制造业发生的一些市场/过程变化，正在推动采用基于3D的机器视觉系统？
[伯纳德]低端大众市场机械生产和工程转移到中国的趋势意味着西方国家将在高端市场开发新产品。

[詹姆斯]

• 飞机制造量增加，生产时间缩短。这将需要制造和检验过程的进一步自动化。首次正确制造的趋势将增加计量驱动制造过程的需求。
• 位于不同位置的制造和组装，这意味着在部件装运至最终组装之前，深入检查是一项关键要求
• 大型飞机的开发/制造
• 特殊材料（复合材料）的使用需要对传统检验过程进行审查（例如，非接触测量将变得重要）

(Giles)需要从制造检验过程中降低成本(熟练人力)。