热成像与机器视觉

最有趣的技术进步之一是在过去几年里红外成像仪和相机的价格/性能上的巨大改进。虽然在此之前，这些相机使用起来很尴尬，只是简单笨重的车间使用，很大程度上是因为制冷要求(更不用说昂贵)，但今天，人们发现红外相机的设计是与车间地板兼容的。虽然仍然昂贵，但价格正在迅速下降。随着基础红外相机技术的突破，现在可以合理地考虑将其用于机器视觉应用。

这一点在2003年6月的国际机器人与视觉展(International Robots & Vision Show)上表现得很明显，展会上有四家热成像相机供应商参展。这反过来激起了我的好奇心，我想确定这些相机在工业或典型机器视觉应用中的用途。对市场的评估表明，至少有15家公司提供热成像相机。本文征求了这15家公司的意见。一些公司回应说，虽然他们确实提供红外相机，但他们的主要市场是军事，他们还没有发现他们的相机用于机器视觉应用。最后四位作者花时间回复并提供了他们对本文的见解:

• 奥斯汀·理查兹博士，靛蓝系统公司
• Jon Chynoweth–米克朗仪器公司
• 阿恩·亚当斯博士-圣巴巴拉Focalplane
• Erick Argueta–传感器无限

1.你如何定义热成像或红外成像?
理查兹奥斯丁博士:“热成像是一种技术，它可以在人类、动物、汽车等物体在地球温度下发出的光形成摄影图像或视频序列。光的波长通常是可见光波长的6-20倍。”

乔恩·Chynoweth:“利用热成像图像的能力。”

阿恩·亚当斯博士：“热成像是指在电磁光谱范围内的成像，范围从3微米到14微米以上（室温物体发射大量红外辐射）。红外成像是在波长超过800纳米的情况下进行的

埃里克·阿格埃塔：“热成像和红外成像是交叉的，但不是相同的领域。热成像是温度分布的成像，通常使用红外波长来完成，但红外成像的范围要广得多，包括任何使用波长大约在1到10微米之间的成像系统，无论温度是否是感兴趣的参数。例如，水分含量或化学成分的成像通常是通过红外系统完成的，但这不是热成像。”

2.什么构成了基于热成像的机器视觉系统？
奇诺维思：“包括一个带有或不带有镜头的红外相机，一个典型的定制外壳，硬线连接或连接到以太网，或服务器计算机与应用特定的定制软件和自动决策。对于与流程相关的应用程序，可以找到两种类型的相机;1)热成像和2)辐射成像，提供逐像素的16位温度图。”

亚当斯:“热红外摄像机由计算机系统控制，根据摄像机输出做出决定。”

理查兹：“基于热成像的机器视觉系统是一种有摄像头的系统，摄像头指向某个过程，用于远程测量给定过程的温度或排放物。有时测量的是红外发射强度或辐射强度（而不是温度）

3.你能区分主动和被动热成像系统吗？人们在机器视觉应用中主要发现什么？
论点：“主动热成像系统使用激光或其他方式来提高目标温度，通常在给定时间在一个小区域内进行，而被动热成像系统则感知目标的固有温度。被动系统是最简单、最常见的，但主动系统具有被动系统所不具备的能力

理查兹：“毫无疑问，被动热成像是机器视觉中普遍使用的技术。在被动热成像中，可用光用于观察场景，场景通过某些过程加热或冷却，例如，正在烘焙的巧克力片饼干。您可以想象烘烤过程中产品上产生的温度变化。主动热成像是指使用连续或脉冲光源照亮研究对象的表面，并使用热成像相机对表面成像。在适当的条件下，脉冲系统可以看到物体表面以下的缺陷或结构。连续光源照明可显示油漆下的标记

奇诺维思：“在主动系统中，当加热或冷却以获得δ温度时，系统会持续监测目标。在一个汽车应用中，复合车身面板粘在车架上，应用要求通过吹暖空气来产生delta温度。其结果是胶线连续无间隙的保证。

亚当斯:主动热成像系统通常根据摄像机的输出做出实时决策，而被动系统通常用作监视器。”

4.基于热成像的机器视觉系统与典型工作在400 - 700nm区域的机器视觉系统有何不同?
亚当斯:“基于热成像的机器视觉系统通常根据热参数做出决定。”

奇诺维思：“它们非常相似，通常工作在30Hz或60Hz，有模拟或数字输出。红外相机可以调整增益和亮度，而不是调整对比度和亮度。”

理查兹：“基于热成像的机器视觉系统可以看到室温下物体发出的辐射能。热成像系统的分辨率通常要低得多。更高分辨率的可见光成像是一种更为成熟的技术，它更便宜，制造更简单，尤其是CMOS成像系统。但这些可见光成像仪只能看到极热物体的热辐射。这两种相机的用途通常是不同的和独立的

论点：“除了波长、相机技术和光学方面的明显差异外，(被动)热成像系统中的目标也是光源。热成像系统的最佳类型近红外(NIR) 1-3 um，中波红外(MWIR) 3-5 um或长波红外(LWIR) 8-12 um取决于所感知的温度范围。对于目标温度接近或略高于室温，3-5或8-12微米的系统通常是最佳的，而对于目标温度高于大约200摄氏度，近红外系统通常是最佳的。在更普通的层面上，红外成像系统(无论热与否)通常比同等规模的可见光系统更昂贵。”

5.热成像技术在机器视觉中的应用历史是怎样的？
理查兹：“热成像系统是在20世纪60年代为军队开发的。直到大约10年前，它们还是非常昂贵的大型系统(>$10万)，并且消耗了相对大量的电力。现在，最小的热成像相机售价在1万美元以下，可以放在你的手掌中，正在成为商品，而不是特殊的定制系统。”

奇诺维思：“就工业应用而言，最大的市场是在线过程控制。然而，挑战是相机的成本，特别是因为典型的工艺应用需要多个相机。因此，到目前为止，大多数应用程序都是基于检查场景的手持摄像机来预测何时需要维护。然而，价格壁垒正在迅速下降。”

6.今天是什么使热成像技术在制造业中的应用成为可能?
论点：“近红外摄像机现在非常坚固，不像普通热感摄像机那样需要外部冷却。在需要快速采集时间的制造业中，近红外相机的采集速度也可以与400nm-800nm的同类产品相媲美。此外，现在有了更高的分辨率，从二维焦平面阵列的640x480像素到一维线性阵列的1024像素。像Camera LinkTM和其他标准的支持使它成为一个多功能的工具，已经从实验室工作台转移到工业环境好几年了，现在价格合理。可靠性在工业环境中也很重要，现在摄像机可以承受高达40摄氏度的标准工作温度，无需定制。使用非常简单(复合视频兼容)，不需要预热时间，近红外相机使其成为过程控制需求非常有吸引力的解决方案。”

奇诺维思：“与3-4年前相比，热分辨率提高了，相机的包装尺寸减小了，软件平台的可用性提高了使用的易用性。”

亚当斯:“更低的成本和更高的性能使越来越多的应用得以实现。例如，我们(Santa Barbara Focalplane)最近推出了ImagIR LC基于计算机的相机系统，价格为10,000美元;它配有一台Windows PC，所有的电缆和软件，并有一个256x256元素传感器，工作在70赫兹以上的帧率，优于20 milliKelvin NETD性能。更高的帧速率(> 10khz)和更大的格式传感器(>1Kx1K)也使新的应用成为可能。”

理查兹：“在某些应用中，热感摄像机的成本持续下降，尤其是与离散热传感器的成本相比。例如，如果你想测量用于炼钢的真空炉的外部温度，你可以在炉外的不同点上覆盖数千个离散的传感器，并测量温度，检查任何热点。但在这个例子中，远程对炉外进行热成像，比在炉外安装并测量数千个热传感器要划算得多。随着基于热成像技术的价格下降，过去没有意义的应用现在变得非常便宜，而且确实有意义。”

7.是否有与热成像相关的校准问题?有一些标准化的方法来校准它们吗?
理查兹：“是的，在很多情况下，校准是一个非常大的问题。有校准相机的方法，我们发现最可靠和准确的方法是利用两个黑体源，一个比被摄体热，另一个比被摄体冷。然后，它们将要测量的温度范围括起来。Indigo Systems和WinSoft Corporation联合开发了一个皮肤温度监测站ThermaSTAT，它利用两个黑体盒作为校准源和微型Omega热成像摄像机。欧米茄相机内有一个实时校准源。它实时远程、非侵入性地对人体面部区域进行成像。然后，系统自动进行自我校准，计算机转换来自所有三个来源的所有实时校准信息，如果人体温度超出预设值的范围，则会发出警报

论点：“是的，有。为了获得绝对温度读数，必须始终校准系统。“系统”包括摄像机和目标，因为目标的光谱发射率是获得精确温度测量的主要因素
Chynoweth:“当然。由于微辐射热计的输出有移动的趋势，相机需要一个机制来补偿这种移动。在今天的相机中，这种补偿是在某个固定的频率上自动进行的，例如每20分钟一次。绝对校准也需要在某个时间间隔，然而，这将是应用程序的功能。对于许多应用来说，每年校准一次就足够了。”

亚当斯:“所有FPA（焦平面阵列）热成像仪都需要进行非均匀性校正（NUC）。温度读数与NUCed相机强度是一个额外的校准问题。通常，对于最敏感的应用（例如，当要求分辨率高于50毫开尔文时），至少每天执行2点NUC。”

8.像Firewire (IEEE 1394)、CameraLink和usb2这样的标准在热成像方面有影响吗?
亚当斯:“是的。Firewire正迅速成为相对较慢的热红外摄像机的标准（数据速率低于约40 MBytes/sec）。CameraLink将成为高帧频热红外摄像机的标准（例如，SBF的1024x1024摄像机以高达320 MBytes/sec的数据速率运行，而我们新的数字输出FPA将以更高的速率运行）。”

理查兹：“是的，对所有人。Indigo Systems现在有一个可选的火线配件，可与Omega热成像相机一起使用

奇诺维思：“米克龙现在提供基于火线的摄像头，并将在9月推出USB 2版本。”

9.人们希望在今天的热成像系统中发现哪些机器视觉特征?特定类型的软件?相机的具体硬件功能?
论点：“由于红外成像特别是近红外成像接口标准的激增，传统软件如National InstrumentsTM（NI-DAQTM）和其他软件包可用于满足所有制造成像需求。加上现成的框架抓取图像板，他们使它成为一个非常经济有效的解决方案，所有的铃铛和口哨，可以预期从一个“可见”的成像系统。一些典型的硬件功能包括：

• 模拟复合视频
• 数字接口(USB, Camera Link, Serial)
• 曝光时间控制
• 修正”

奇诺维思：“这些功能实际上就在软件包中:能够创建感兴趣区域(ROI)，提取最小/最大c/标准偏差，根据目标温度触发警报，等等。”

亚当斯:“热红外摄像机的计算机控制，能够在观看实时显示和做出实时处理决策时，以摄像机的全帧速率将数据流传输到磁盘。在大多数机器视觉环境中，不将客户与特定计算机硬件捆绑在一起的软件开发工具包是必要的

理查兹：“机器视觉涉及图像处理，例如模式识别、边缘检测或圆检测。例如，如果您想在装配线上找到喷漆罐的液位，热成像可以检测油漆和罐中空气之间的温差。或者可以设置一台热摄像机，远程拍摄制造厂几个储罐或桶中的液位。热成像可以检测玻璃瓶中的温度变化，如果成像点超出规定的温度标准，则可以执行质量控制过程。后端软件可能包括执行边缘检测和过滤、背景减除等的图像处理模块。相机可能附带软件开发人员工具包的CD，允许程序员轻松将相机集成到基于PC的系统中：ActiveX控件或DLL，用于实现图像采集和相机控制。或者，可以提供LabVIEW驱动程序，以便于将摄像头与国家仪器硬件和软件集成。

硬件可能包括用于恶劣工厂地板的环保密封摄像头、用于与现有机器视觉基础设施轻松集成的模拟视频输出、易于满足的12 VDC电源要求

10今天的热成像相机是否具有针对机器视觉市场的传统相机的典型功能？曝光控制？异步帧重置？逐行扫描？电子百叶窗？
理查兹：“一些，是的。热成像行业正在从可视摄像头领域借用更多的功能。我们的热成像相机有曝光控制，此外，Indigo系统的镜头具有快速更换功能。大多数热成像公司的相机都有“外部触发”，在可见光相机市场上称为“异步复位”。快门速度，即所谓的“集成时间”，根据具体规格而定，在我们的红外相机上可以使用更短或更长的性能时间。Indigo的热敏摄像机系统采用NTSC和s-video（模拟格式）以及RS-422（数字），提供与可视摄像机相同的模拟和数字视频接口。Indigo系统还具有标准三脚架支架和标准24V或6V（适用于欧米茄）电源。我们的目标是使红外成像系统能够轻松地与标准可见光成像系统的功能接口，使交叉比以往任何时候都更加经济高效和方便。Indigo的所有FPA都是“快照”模式，这意味着所有像素都在同一时间集成，允许同时捕获每个像素，然后从相机中读取（其他一些相机具有滚动模式读数，无法很好地对动态场景进行成像）。我们致力于使红外摄像机成为CCD的标准、高性能和全功能

亚当斯:“是的，热红外相机通常配备曝光控制和电子快门（帧速率和积分时间从大约1微秒调整到10毫秒），以及异步帧重置（相机可以输出同步脉冲或接受输入同步脉冲）。”

论点：“今天的一些红外相机具有曝光控制，电子快门具有不同的曝光时间控制和异步触发。其他一些功能还包括：在相机未大量使用的情况下，窗口可提供更快的帧速率和低功耗待机模式

11基于热成像的系统有哪些特定的机器视觉应用-在线和离线？
论点：“在近红外热成像领域，应用包括钎焊、金属熔炼和塑料容器检查等高温过程的温度映射。近红外成像的非热应用包括纸张和木材的水分含量成像、水果和其他食品的分类、药片检查、通过半透明或彩色瓶子进行的瓶子填充检查，以及用于回收的塑料分类

奇诺维思：“应用包括持续监测电气母线、寻找填充良好/不良的印刷电路板、监测咖啡罐上的塑料密封、鱼雷钢包车寻找烧穿、检查离合器片是否存在石墨等。”

亚当斯:无损检测(NDT)和成像光谱技术似乎是我们高帧率和大画幅相机最大的机器视觉应用。”

理查兹：“在线检查从烤箱出来的饼干，检查刚从模具出来的玻璃瓶，检查盒子或罐子有缺陷的密封，检查硅晶圆的质量保证，等等。脱机-在实验室或现场进行的任何研究，例如测量燃烧的香烟的温度，或在试验台上观察固体火箭发动机的烟柱。”

12基于热成像的机器视觉系统有哪些限制？速度
理查兹：“帧率可以相当(低至微秒，例如高速子弹帧捕获约一微秒;像素的数量是有限的，所以很难看到很多细节。分辨率通常较低，最小可分辨特征尺寸也有限制——因为衍射，你看不到比光的波长小的东西(波长大约是10微米，你看不到比它小的东西——对于长波相机来说，显微镜成像始于特征尺寸大于8微米的东西。”

亚当斯:“几乎每个人都要求更大的格式阵列以更高的帧速率运行，但许多应用程序无法支持此类系统增加的成本（我们的1Kx1K热红外成像系统为25万美元，运行速度超过140 Hz，全窗口；对于使用定制设计FPGA的某些系统，甚至更高）。”

论点：“一般来说，红外相机的像素比可见光相机少;超过640 x 480像素的红外相机很少。”

13.是否有提供基于热成像的机器视觉系统集成的系统集成商?你能详细介绍一下他们提供的服务吗?
亚当斯:“SBF已经和几家系统集成商合作过，并正在合作。他们通常是专门从事特定细分市场的集成商，如航空航天结构的无损检测分析、电子元件的无损检测或汽车零部件的无损检测。”

理查兹：“是的，有几家公司提供这种服务。WinSoft可以将热成像相机整合到生产线上。”

奇诺维思：“越来越多了。使用系统集成商的最大障碍之一是，通常客户希望有一个人负责整个系统。但系统集成商并不承担全部责任。虽然他们可能会购买相机并编写应用软件，但图像数据通常是专有格式的。因此，他们为系统集成商提供内置的数据格式或ActiveX控件集。而系统集成商会购买摄像头、机箱、I/O等，编写软件，当系统无法运行时，则怪罪于组件供应商。这就是从相机公司购买相机的优势所在，他们可以提供全套解决方案，因为他们有能力设计和实施外壳，稳定成像仪的环境，这是成功应用的关键。”

14.去年针对基于热成像的机器视觉市场，您推出了哪些新产品?
论点：“Sensors Unlimited推出了高分辨率1024像素InGaAs光电二极管阵列。”

奇诺维思：“Mikron介绍了几种成套系统：can终端监控、关键船舶监控和变电站监控。”

亚当斯:“Santa Barbara Focalplane推出了我们的FireWire ImagIR LC相机产品，以及我们的1K x 1K格式热成像相机。这两种产品都将在机器视觉市场找到应用。”

理查兹：“Indigo Systems引入了FireWire&Omega目标机器视觉，因为这样你就不需要帧捕获器了。您可以将多个不同的摄像头全部连接到一台主机，而无需多个帧抓取器。Indigo Systems的Phoenix摄像机线捕捉高速事件，如涡轮叶片运行，以监控保护叶片免受燃烧气体影响的热障涂层的状态

15.您是否可以给基于热成像的机器视觉系统的潜在终端用户一些建议，以确保他们能够成功地实现?
理查兹：“是的，在对最适合您的热成像系统做出最终决定之前，请明确您的要求–非常小心地获取有关您所购买相机的所有规格的详细信息。客户需要了解他们当前的需求，然后他们需要预测他们可能需要一个热成像机器视觉系统用于其他用途。有些相机有更多的功能，不仅可以满足您现在的需要，还可以满足未来应用的需要

论点：“对于热成像，你要查看测量的温度范围，然后决定哪个波长范围是最佳的。黑体辐射曲线可以帮助测定波长。在一个波段内可以实现最大的灵敏度，即使几个波段可以进行测量，其中一些比其他更好，这取决于用户感兴趣的温度范围。”

奇诺维思：“从对长期运营负全部责任的人那里购买整套产品。不要分割零件，而是自己动手，因为在大多数应用程序中有许多不同的约束需要处理

亚当斯:“在决定你需要什么样的热红外相机时，一定要让相机制造商知道你的应用是什么，你认为什么帧率和像素格式是必要的，以及什么波长区域是重要的。此外，你需要如何与相机接口，无论是硬件还是软件?我在许多热红外相机制造商的经验是，如果他们的相机不适合你的应用程序，他们会告诉你，如果不，他们有时会引导你去找其他提供了很适合应用程序的相机。”

16.作为基于热成像的机器视觉系统的供应商，您是否需要提供一些特定的活动来确保您的客户是成功的?
理查兹：“良好的客户支持、良好的文档、良好的软件（DLL、驱动程序），因此他们不必重新发明车轮。”

奇诺维思：“系统的成功在于软件。因此，供应商应该为整个应用程序提供软件——提供一站式服务。”

亚当斯:“我们的客户能够与设计和制造热红外摄像系统的工程师交谈。这有助于我们的客户更快地开发他们的应用程序。”