运动控制与机器视觉的集成

工厂今天利用智能水平增加，以提高制造业的灵活性，吞吐量和质量。例如，看起来不比制造世界中机器视觉和运动控制之间的越来越多的集成水平。组合两种技术创建更灵活，动态的环境。机器视觉系统变得更有效，运动系统变得更加适应，并且整个生产环境表明了更大的功能。

用奈特·霍姆斯的话来说，他是位于国家文书（奥斯汀，德克萨斯州），视觉系统提供信息，而动态系统采取行动。两种技术的集成可以分为三类：运动辅助机器视觉（协同集成），视觉辅助运动控制（同步集成）和视觉导向运动。它们是按照越来越多的集成水平的顺序列出，这也意味着增加复杂性。但是，这种复杂性有一个回报。较高级别的整合提高了产品质量和生产效率，同时降低了生产成本。

“与动作的愿景结合允许您具有更灵活的动态环境，”产品营销产品营销监督员达拉尔保罗说欧姆龙工业自动化（伊利诺伊州霍夫曼庄园）。“运动系统能够在运动中提供比以往任何时候都更多的功能。因此，在进行运动引导视觉的同时，还可以进行检查和代码读取。

例如，在码垛操作中，视觉系统可以检测托盘上已经存在的包装层。这将使它能够以正确的方向和顺序堆叠额外的项目。而这仅仅是个开始。“然后它可以回到生产线上，能够看到一个包裹运行在传送带上，”保罗说。“它可以主动锁定包裹的位置，并引导运动控制系统拿起包裹，而无需使用系统上的任何额外编码器。”

在我们开始讨论集成机器视觉和运动控制系统之前，重要的是要注意硬件、软件和架构中存在大量的变化。一些系统使用PLC和专用的运动控制器，而另一些则使用基于pc的软运动平台。光的颜色、相机分辨率和相机本身的类型因系统而异。本讨论包括一些基本的例子，但请注意，它们无论如何都不全面。

运动辅助视觉
几十年来，机器视觉一直是工业环境中的固定设备。该技术可用于各种检查任务，从确定物体是否存在，到检查尺寸，再到评估质量。零件有缺陷吗?瓶子上的标签是直的吗?塑料的颜色对吗?机器视觉系统可以非常迅速地回答这些问题，在很长的时间内，而且通常非常准确。精确程度取决于很多因素，包括系统设计、照明以及成像器对零件的观察程度。这就是运动系统可以提供帮助的地方。

运动控制技术可以通过优化最佳效果的定位来改善视觉系统的性能。运动轴可用于将部件放置在图像传感器前面或将图像传感器转移到部件上。该技术可以重新定位部分以更好地照亮感兴趣的区域或改变照明条件。它可以改变部分或相机的方向，以捕获来自不同角度的一系列图像。

运动辅助视觉的经典示例是一种基于网站或传送带的系统，该系统将产品或幅材移动在相机前的恒定速度。相机可以不断地运行和捕获图像，或者可以由硬件传感器或软件触发触发。图像处理算法可能需要知道传送器的速度，并且两种系统可能需要在常用的时间内操作。然而，集成水平最小。

Vision-assisted运动
在视觉辅助运动中，视觉系统提供输入，使运动系统能够执行任务，例如弹出坏零件。这些类型的任务需要在视觉系统和运动系统之间进行同步操作。视觉系统的传感器触发相机捕捉图像，图像存储在缓冲器中进行处理。触发器也被发送到运动系统，以便运动控制器可以记录零件的位置。视觉系统分析图像。当检测到故障零件时，它向运动系统发送信号，运动系统利用其对零件位置的了解，使执行器能够弹出故障产品。

例如，在番茄酱生产线中考虑一种将绿色西红柿和成熟西红柿分离的系统。西红柿沿着输送机向上移动，并以一条直线从末端级联而出（见图1）。线扫描相机捕捉图像并触发运动系统捕捉给定番茄的位置。如果分析确定西红柿是绿色的，视觉系统将向运动系统发送信号。运动系统上的控制器跟踪绿色西红柿的运动，当绿色西红柿在执行器前面时，命令移动，将西红柿引导至不同的输送机。

图1:在这个基于视觉的排序应用程序中，视觉系统向摄像机发送一个触发器来捕捉图像，并向运动系统发送一个触发器来监控番茄的位置。当图像传感器检测到未成熟的番茄时，就会向运动系统发送信号。运动控制器跟踪所述项目的位置，以使执行器能够被命令拒绝该部件。(图片由Kingstar提供)

这些类型的分类应用需要视觉和运动系统之间紧密的同步。特别是，拒绝零件的分析和决策需要足够快，以便在零件到达执行机构之前命令运动系统采取行动。该算法的图像分辨率和复杂度需要足够低，以便能够及时完成分析。

需要分析通信系统的性能以确认延迟和抖动不会干扰图像处理。

Vision-guided运动
在集成的下一个层次，视觉系统向运动系统提供反馈，帮助它关闭控制回路(见图2)。在同步运动的情况下，视觉系统中的传感器触发摄像机捕捉零件的图像。视觉系统(通常是摄像机)计算零件在像素空间中的位置，然后将其转换为真实世界坐标中的物理位置。运动控制器使用这些信息为执行器生成轨迹。这种方法大大增加了运动系统的功能。

“视觉引导的运动补偿了非刚性加工，”Paul说。“你可以让一个零件出现在输送机上的任何地方，具有视觉功能的系统将能够找到该零件并将其捡起来或检查，或执行它应该执行的任何操作。你不必像过去那样将该零件放在刚性夹具中。你也不需要为该工具付费.因此，这既降低了工程成本，又增加了灵活性。”

图2：视觉引导运动系统的方框图显示了视觉系统在以0.5到1s的周期时间向轨迹生成器传递数据方面的作用。轨迹发生器大约每毫秒提供一次设定点，而执行器的控制回路以50µs的循环时间运行。（图片由国家仪器提供）

视觉引导运动不同于同步运动。在同步集成中，视觉系统帮助运动系统决定是否移动。在视觉引导的运动中，视觉系统帮助运动系统决定移动的位置。使用视觉引导的运动，系统可以定位和组装随机方向的零件。这消除了对夹具或特殊定位设备的需要，降低了成本和复杂性，并加快了转换。切换到新产品涉及到软件更改，而不是重新装备。

考虑一种应用，其中由挤出头将有机硅珠施加到织物的边缘。该系统包括一个以固定速度移动的输送机、一个安装在头顶上的视觉系统和一个安装在下游由旋转伺服电机控制的线性滑块上的挤压头（见图3）。织物片以随机方向放置在输送机上。当它们经过视觉系统时，它会捕捉图像并处理数据以计算工件的位置和角度。内置于智能相机中的坐标转换软件将图像位置从像素空间转换为现实世界坐标系中的物理位置。运动控制器使用此信息计算将均匀的硅胶珠涂抹到织物边缘所需的刀具轨迹。

图3:这个自由形状的边缘跟踪系统使用视觉引导运动，将硅珠涂在一系列布部件的边缘，以随机方向放置在传送带上。在将数据传递给运动控制器之前，上方的摄像机捕获图像并执行坐标转换。控制器命令一个安装在伺服电机驱动的直线滑块上的挤出头来应用硅胶。该摄像系统还执行与零件采集同时进行的检查步骤，以使系统排除任何有缺陷的毛坯。(图片由ORMEC提供)

另一个例子涉及用于从4'x 8'金属坯料中切割零件的CNC工作台刀具。在传统系统中，坯料使用起重机放置在工作表面上。因此，它们无法精确对齐。取而代之的是，机器必须在相对坐标系下从坯件开始切割零件之前机械地获取边缘。为了最大限度地提高产量，机器被编程为切割嵌套零件的模式。由于毛坯的方向不同，沿周长的零件可能会投影到边缘上而不完整。视觉引导运动为这个问题提供了一个解决方案。

随着基于图像的反馈的引入，工具集不再需要机械地获取空白的边缘。相反，视觉系统捕捉空白的图像，并将其位置从像素空间转换为真实世界坐标。运动系统修改工具的轨迹，以便从空白处裁剪完整部分的最大数量。这种方法使系统能够补偿翘起、偏移或未对准的坯料。它提高了产量和吞吐量。

视力引导的运动是一种有效的方法，但确实存在一些挑战。与同步集成一样，时序至关重要。处理帧速率需要与运动回路速率同步。应仔细仔细审查通信延迟，以确保在设备的位置环的约束范围内是可接受的。

最大的问题是，该系统仅在移动开始时确定轨迹，而没有接收进一步的输入来修改性能。如果坐标变换中存在误差，则系统无法修正。因此，系统的性能既取决于变换，也取决于运动系统的精度、精度和重复性。

视觉伺服
视觉伺服，或视觉伺服控制，提供了一种避免视觉导向运动系统可能引入的误差的方法。在视觉伺服控制中，系统使用视觉输入作为引导和闭环反馈(如图4所示)。视觉系统不再只提供初始轨迹规划的输入，而是提供连续的图像，使运动系统能够瞄准工件。该方法可用于从较便宜的设备获得高度精确的性能。

图4:在称为动态观动的视觉伺服控制方案中，视觉系统直接生成位置设定点，无需单独的轨迹发生器。这大大缩短了周期时间。(图片由美国国家仪器公司提供)

视觉伺服控制的一个更复杂的方法被称为直接伺服。在这种类型的系统中，机器视觉取代了传统的运动反馈设备，如编码器。标准配置包括两个摄像头:一个用于成像执行器和目标的架空摄像头，用于生成位置设定值，另一个摄像头安装在执行器本身，用于提供位置反馈(见图5)。

图5：直接伺服控制使用两个摄像头提供引导和反馈。第一个摄像头（底部）对执行器和目标进行成像，使用数据生成位置设定点，替换轨迹生成器。安装在执行器上的第二个摄像头（顶部）关闭位置反馈回路。该摄像机取代了编码器或类似设备的传统运动反馈系统。（图片由国家仪器提供）

整合运动和视觉的挑战
视觉和运动的整合带来了很大的好处，但并不总是容易的。两个系统都很复杂。他们经常由不同的供应商提供。这可以使互操作性成为挑战，因为需要同步两个系统。集成水平越高，所需同步的更严格。

如前所述，添加视觉意味着视觉系统和运动控制任务需要在同一周期内完成。实现这一目标需要对任务进行全面评估。从确定时间开始-零件移动的速度有多快？有多少时间可用于处理图像和确定操作？视觉系统能否在零件到达致动器之前提供该响应率？

有很多因素会导致时间问题。增加数字滤波器会影响数据分析。“如果你不小心的话，视觉工具可能会拖慢你的速度。ormec系统组（罗切斯特，纽约）。“相机可能需要使用数字滤波来提高图像对比度。因为这些过滤器通过像素处理图像像素，所以它们需要时间。突然间，一个在1毫秒运行的检查开始于50毫秒，然后它可能最终为所需的机器速度太慢。“减少成像和分析到最低可能区域的区域可以帮助加速该过程。

特别是在视觉引导运动和视觉伺服的情况下，不间断的高速通信是必不可少的。曾经有一段时间，这两个系统是分开的，通过高速数据链路进行通信。这可能会由于固定偏移和抖动而引入延迟。“如果我要数瓶子，我只能这么快地数，因为我必须考虑到不确定性的延迟，”Matt Edwards说，他是解决方案架构师/咨询总监IntervalZero(马萨诸塞州沃尔瑟姆)。“我必须为最坏的情况做准备。”由于延迟问题，机器制造商和集成商越来越多地使用实时操作系统(RTOS)和共享内存在同一个计算平台上运行机器视觉和运动控制。“现在，我可以缩短这些延迟，使事情更加确定，系统运行得更快，因为它都在一个框中，没有我必须考虑的零散延迟，”爱德华兹说。“现在，整个过程可以加快。”

在运动和视觉的整合中存在许多缺陷。第一个是任务爬行。视觉系统可以在引导运动的同时执行多项任务，包括检查和条形码读取。重要的是确保这些添加不会导致视觉系统处理时间超过设备的循环时间。

重要的是要记住，视觉系统将被调整并集成以解决特定的任务和条件。提升速度可能会缩小超出视觉系统跟上的能力的循环时间。

成功的路径
越来越多的OEM机器制造商正在将机器视觉集成到他们的运动系统中。在某种程度上，这是由于业界对可用性的一致推动。智能相机包含自动坐标转换和校准程序。许多功能自动对焦和集成照明。对于原始设备制造商和最终用户来说，试图建立一个具有协同集成的系统，加入机器视觉从未如此容易。即使具有更高的集成度，新一代的产品在一台设备中集成了运动和视觉，简化了设备调试。

“你在应用程序中发现了更高的成功率，”该公司销售总监尼克·特博（Nick Tebeau）说利奥尼工程产品与服务(密歇根州Orion湖)。“这意味着，那些过去因为害怕失败而不想参与整合这些技术平台的公司，现在发现自己更舒服了。由于受信任的集成商的数量在整个北美地区都在增长，因此更容易获得支持。还有更好的培训，如AIA CVP培训，真正使这些不同的公司接受教育，以正确的方式开始。”

尽管有大量的现代工具，追求更高层次集成的组织仍然应该考虑与集成商合作，或者至少向他们的供应商寻求帮助。纽约罗彻斯特ORMEC系统集团营销和销售副总裁比尔•卡塔拉诺表示:“系统正变得简单得多，但理解运动和视觉系统的基础知识，并将两者结合起来仍然具有挑战性。”“在我们所处的这个资源有限的时代，与集成商或供应商合作可以给组织带来优势。”

致谢
感谢CYTH系统的Andy Long和国家仪器的Nate Holmes提供有用的对话和背景材料。