眼球追踪系统将视觉转向查看器

机器愿景尚未破解人类正在思考的代码，但由于眼跟踪技术的稳定进步，猜测我们的注意力更好。

如今，大多数眼球追踪系统共享机器视觉相同的基本组件组合:摄像机、光源和图像处理器。不同之处在于，眼球追踪系统将摄像机转回到观众身上，以追踪和解释眼睛的活动，无论是在哪里，眼睛注视某件东西多长时间，是什么特征吸引了它的目光，还是眼睛的瞳孔对视觉刺激的反应。眼球追踪技术也不需要成为眼球运动的被动观察者:这项技术还有望增强电脑鼠标和键盘的功能，通过凝视实现导航和控制。

1901年由Raymond Dodge和T. S. Cline开创，眼睛跟踪将机器视觉预测到半个以上。最近，眼新的技术引起了科技产业贝尔莱斯的眼睛。在几个月内，2016年和2017年，谷歌，苹果和Facebook分别购买了眼睛跟踪启动Eyfluence，Sensomotoric Instruments和眼部部落。微软尚未加入购买狂潮，但它引入了新的应用程序编程接口，为Windows添加了眼新的跟踪支持，并进一步与Tobii和EyeTech DS等领先的系统集成商一起发布了新的技术标准。

混合现实渲染
如果说最近的这些收购有一个共同的目标，那就是为虚拟现实(VR)和增强现实(AR)应用开发商业上成功的头盔。眼球追踪技术对两者都至关重要。

它是聚焦在虚拟现实(VR)图像上的部分进行锐化的数字显示技术foveated rendering的基本实现手段。就像现实生活中的视觉一样，边缘仍然是模糊的。在VR头盔中使用，凹点渲染显著降低了图形处理单元(GPU)的负载，允许当前一代GPU以更低的成本和功耗预算渲染4K显示质量和更高的帧率。

眼球追踪技术在增强现实头盔中支持类似的功能——聚焦渲染，挑战是在用户的视觉范围内选择性地只显示最相关的信息。过多的信息会让用户不知所措，或者挡住他们的视线。通过识别眼睛正在看的东西，增强现实耳机可以实现聚焦渲染，只提供关注对象的数据，并为用户提供更大的控制。

组件规格可能因应用而不同，但大多数可穿戴眼球追踪系统依赖于一对位于眼睛下方的CMOS摄像头，操作范围在850-900纳米。当眼睛被红外led照亮时，摄像机通常配备带通滤波器，以减少角膜对可见光的反射。结果是眼睛的高对比度偏移图像，使GPU或现场可编程门阵列(FPGA)可以轻松地分辨两个瞳孔，计算每个瞳孔的视向量，并通过确定这些向量的汇聚位置，确定它们的方向和聚焦深度。

“这通常仅适用于ARM长度内的[跟踪]对象，”克莱姆森大学视觉计算教授Andrew Duchowski解释道。“超越这个范围，眼睛基本上看着无限。”

因此，大多数眼球追踪系统仍然在距离观众很近的范围内运行。除了可穿戴式耳机，眼球追踪系统还可能被嵌入独立的桌面配置或计算机显示器，以实现用户界面、广告设计或医疗研究和诊断。眼球追踪也是汽车驾驶员辅助系统的一个关键组成部分，该系统通过检测驾驶员在道路上的专注程度来促进安全驾驶。

场面规格
在60和120Hz之间的帧速率通常足以准确地样本 - 或眼球 - 在这些应用中的大部分应用中。例如，实现在这些帧速率内操作的摄像机的AR / VR耳机将阻止用户检测眼睛固定和图像渲染之间的滞后。更复杂的系统，例如旨在跟踪微观的研究或诊断神经系统条件的那些系统必须以300 Hz和更高的帧速率运行。

“头戴式系统通常要求两台摄像机之间的精确同步，”FLIR系统的产品经理Mike Fuarsell说。“通过GPIO [通用输入输出]触发的低延迟触发使其成为可能。对于我们的Firefly产品，通过眼睛跟踪的要求驱动用于外部电源和同步和60 FPS规范的GPIO引脚，用于供电照明，并将两个相机同步到尽可能小的包装。“

Xilinx市场开发总监Dale Hitt指出，帧率和处理性能的提高也对处理传入传感器数据的定制图像处理提出了很高的要求。Hitt说:“然而，也有一个从简单的计算机视觉算法到人工智能推理处理的过渡，以提供更强大的跟踪和先进的功能，如困倦和情绪状态检测。”“通过Xilinx [FPGA]技术，眼球追踪系统开发者可以部署低延迟AI推理硬件加速、定制计算机视觉硬件管道和高速图像处理能力，以满足最严格的要求。”

图像传感器分辨率不太关键，尽管对眼跟踪系统仍然很重要。对于头戴式跟踪系统，FUSSELL表示，0.4至1.6 MP的分辨率范围是FLIR的眼睛跟踪客户的大部分。

“较高的像素计数给出了一个更大的头盒，这是眼跟踪的重要性能度量，”EyeTech数字系统销售和营销总监Keith Jackson说。头盒有效地定义了用户头部可以移动的三维区域，而不会显着减少眼跟踪系统的性能。

相反，较高的像素密度也有助于在较小的目标维度内跟踪凝视。例如，EyeTech目前的眼球追踪系统被设计为提供0.5到1度的精度，这相当于从两英尺多一点的距离观看电脑显示器，其精度为0.5英寸。EyeTech还制造了可在10英尺(约1.6米)范围内工作的眼球追踪器。

我们是否能够对未来同行，我们在眼睛跟踪中看到了什么进展？“戴上我的未来帽子，我会说堆叠，背面照明的CMOS传感器将能够实现较小的图像传感器，具有更高速度的操作和板载处理，”FUSSELL说。“在某些时候，一些图像传感器可能能够执行对传感器的眼睛跟踪。”