成员自1984年以来

了解更多

AIA - Advancing Vision + Imaging已转型为推进自动化协会(Association fo188jinbaobo orgr Advancing Automation),是全球领先的视觉+成像、机器人、运动控制和工业AI行业自动化行业协会。

根据以下文件提交的内容:

工业:
N/A

应用程序:
系统分析与验证系统分析与验证

模式匹配加快了对象定位,减少了图像处理开销

发布11/29/2017

作者:温·哈丁,特约编辑

想看到更多这样的文章吗?获得我们的最新功能和新闻发送到您的收件箱每月两次。订阅Vision在线电子通讯在许多机器视觉系统中,必须尽可能快地定位目标或目标的特征,以便进一步的图像处理算法可以提取额外的特征。例如,在2D或3D空间中找到零件的正确方向可以加快基于机器人的取放应用程序。在食品和饮料应用中,模式匹配技术允许读取和检查特定的字符或模式,减少了从图像中提取进一步数据所需的处理能力。

模式匹配主要有两种方法:基于相关性的方法和几何模式匹配方法。虽然它们在技术上是不同的,但这两种方法都依赖于首先定位一个或多个模板图像区域来提供参考数据。一旦提取出来,这些数据就会与新捕获的未知图像进行比较,以找到匹配的特征。在参考模板图像和新捕获的图像之间建立对应关系可以确定新捕获图像中物体的位置。

互相关
从历史上看,互相关(CC)是最早用于模式匹配的统计方法之一。在这种蛮力方法中,计算模板图像和捕获图像中相同大小的区域的对应像素值的简单成对乘法和,从而产生图像之间的相似性值。然而,由于该值受捕获图像中反射率或照明变化的影响,因此该方法已被归一化灰度相关(NGC)所取代,其中相关值对全局亮度变化是不变的。A.此过程的详细说明可以在网站上找到自适应视觉.

虽然传统的CC和NGC对较大程度的旋转、平移和缩放不具有不变性,但可以通过旋转、平移和缩放模板图像,然后使用模板图像执行模式匹配来改进这些方法。

“如果在教学阶段教授了几何变换,如旋转、尺寸变化、倾斜和光照变化,模板和捕获图像之间的相关值就会增加,”Jonathan Vickers博士说除梗器成像在Puchheim,德国。然而,这种方法的计算量更大,因为需要将大量模板与捕获的图像关联起来。

为了减少这种计算开销,可以使用基于金字塔的方法。在这种方法中,模板和捕获的图像都被下采样多次,实际上是建立了两个金字塔,随着水平的增加,分辨率越来越低。相关性在金字塔的顶层执行,并用作下一层可能的相关性匹配的初始估计。这个过程在不同的水平和区域重复,不断增加的金字塔的分辨率,直到一个合适的相关系数被确定。该方法在W. James MacLean和John K. Tsotsos的论文中得到了更全面的解释。在金字塔图像表示中使用归一化灰度相关的快速模式识别该方法可用于基于相关和基于几何的模式匹配方法(图A)。

图A:为了减少相关和几何模式匹配的计算开销,可以使用基于金字塔的方法。在这种方法中,模板和捕获的图像都被下采样多次,实际上是建立了两个金字塔,在更高的层次上分辨率越来越低。(图片由Adaptive Vision提供)

几何模式匹配
虽然标准相关方法在旋转、平移和尺度不变性方面有局限性,但如果被检测的部件有些遮挡,它们也会受到限制。为了解决这个问题,可以使用几何模式匹配技术来提取模板图像中的几何特征,如形状、尺寸、角度和弧度。然后利用它们的空间关系来寻找捕获的图像中的对应关系。

这是比尔·西尔弗在1999年首创的方法Cognex(马萨诸塞州纳)。该公司的几何图案匹配技术以PatMax的品牌销售。(参见“机器视觉技术:零件定位与PatMax它的原则已被许多其他公司采用,包括国家文书(镍;得克萨斯州奥斯汀市)。

NI产品营销部门经理凯尔·沃森(Kyle Voosen)表示:“Cognex的PatFind有两种模式,使用标准互相关在图像中查找匹配的区域模型和使用边、轮廓和形状查找匹配的边缘模型。这与NI使用的模式匹配和几何匹配方法非常相似

Voosen继续说道:“对于大多数应用程序来说,模式匹配通常是首选,因为它更容易配置。然而,几何匹配对于光照不一致、物体大小变化、遮挡或重叠部分和透视失真的应用是有用的。“(见”几何匹配技术”)

软件包
像倪一样,,马特罗克斯(魁北克省多瓦尔),MVTec(德国慕尼黑)和Stemmer成像公司Teledyne DALSA(安大略省滑铁卢)都提供NGC和几何模式匹配工具。Matrox的图像库包括一个基于NGC的模式匹配工具和一个使用几何特征在图像中查找对象的工具。

Teledyne DALSA在其Sapera Vision Software中提供了一个NGC工具,并在其Sherlock软件包中提供了支持像素强度或几何形状定义的模式的工具。来自Stemmer Imaging的Common Vision Blox的Foundation Package包含一系列相关工具。

MVTec通过其HALCON和MERLIC软件提供基于相关性和基于形状的匹配。它的HALCON包使用基于描述符的匹配技术来定位图像中带有纹理的平面对象。为了在基于形状的匹配技术中加快这一过程,MVTec采用了图像金字塔方法。在不同的金字塔层次上搜索模板和捕获的图像。

图B:使用CVB Polimago,首先训练预定义的模式。然后自动生成数千张不同方向的训练图像。该算法从多个不同角度可靠地检测训练图像,减少了生成大量训练图像所需的工作量。(图像由Stemmer Imaging提供)树和随机生成的模板
除了使用CVB ShapeFinder软件进行几何模式匹配外,Stemmer Imaging还提供了许多其他创新模式匹配软件产品。虽然NGC和几何模式匹配通常需要一个模板图像,但基于决策树的分类器生成需要每个类多个图像。这种方法的一个例子是该公司的CVB Minos软件,该软件使用学习算法从灰度图像中提取单个特征或不存在的特征,并将其存储在树结构中。

根据Jonathan Vickers的说法,将单个特征分组到树结构中可以实现一种搜索,这种搜索不会随着学习集的大小而增加,并且可以用来区分两种相似的模式。“它很快。搜索的是少量的区别特征,而不是足够的特征来描述一个形状。”[几何模式匹配]或[使用相关方法]比较图像中的所有像素,”维克斯说。

也许更令人印象深刻的是Stemmer的CVB Polimago模式匹配工具。Polimago使用一系列训练图像来描述目标的变化,然后在内部生成数千个随机生成的视图,从而综合创建一个更大的训练集(图B)。模式匹配”)

“虽然许多公司都采用了NGC和几何模式匹配方法,但每家公司都使用不同的算法来寻找图像中的显著特征,因此性能特征可能存在很大差异。因此,很难确定哪种产品最适合任何特定的应用。因此,在评估这类软件时,系统集成商应该仔细检查每种方法所需的准确性、速度和模式培训,”康耐视高级营销经理Ron Pulicari说。