文 / 德勤·科学加速中心   Tobii中国

近年来，元宇宙（Metaverse）全球盛行。2023年6月，苹果公司最新发布的新一代混合现实设备Vision Pro融入了空间计算概念，把元宇宙再一次推到了全球商业的风口浪尖。在我国，上至国家政府，下至地方社区，都在积极地思考元宇宙对自身发展的影响以及如何引入。在与之相关的各类技术和设备中，混合现实（Mixed Reality，MR）是最有沉浸感和交互感的一种。可以说，混合现实技术的应用在现阶段已经被看作是引领元宇宙在更多场景发芽和繁荣的风向标。

混合现实的提出基于增强现实（Augmented Reality，AR）和虚拟现实（Virtual Reality，VR）。它的本质可看作是增强现实和虚拟现实的叠加，是将虚拟空间与现实环境融合的一种高价值体验的元宇宙技术。目前，在全球市场最著名的混合现实技术及设备当属微软公司的Hololens解决方案。其核心是一款可穿戴式的混合现实眼镜。但是，要使这副眼镜可以在相应场景发挥作用则需要操作系统、应用程序甚至高性能算力的支持。为此，混合现实在投入商业市场的过程中已经不只是一种硬件设备，更是软硬件一体的全面解决方案。目前，包括Hololens在内的一些混合现实设备已经被多个行业接受和推崇。例如，深圳市人民医院与清华大学长庚医院就曾应用混合现实技术，通过与5G通信技术的联合成功完成了一次远程的胆总管囊肿切除和肝内外胆管取石手术。这大大解决了相关专家无法快速到场响应的挑战。

作为有待进一步普及和改变人类生活的关键技术，混合现实技术设备的高性能、轻量化、长续航、快散热等问题成为当下最主要的阻碍。混合现实技术设备在运行时需要对空间环境以及三维图形进行实时定位和生成，因此需要大量的算力和能耗。现有的低电压移动型中央或图形处理单元尚不能满足快速增长的场景所需。同时，考虑到相关设备使用场景的纷繁复杂，最好的人机交互策略莫过于“极简化”。实现这种交互目标的做法就是充分结合人类的体感。由于混合现实设备主要针对人类体感中的视觉感知，眼动技术（Eye-tracking）就理所当然地成为应用研究的热点。

时至今日，眼动技术已经从最初的单纯眼球追踪功能逐步延展到了追踪和交互一体的复合形式。眼动技术的核心是通过包括红外线和光学在内的各类传感器对人类的眼球和眼睑的运动进行追踪和记录，并通过与相应画面的空间融合来反映被测者的目视注意情况。

眼动追踪在XR中的工作方式

众所周知，注意力是人类重要的认知能力。人们往往对感兴趣的内容会进行视觉注意的停留（即关注行为），而眼球和眼睑的运动正反映了这种关注行为。但是，由于人们在目视外界物体的时候不仅眼球和眼睑在运动，头部的运动以及生理性的微眼跳（micro saccade）都会影响相关设备的精准记录。于是，通过硬件层面的微传感器技术和算法进行头动补偿、数据过滤与降噪以及图像融合就成为眼动追踪技术企业的差异化竞争能力。

在科学研究和商业洞察领域，基于人类视觉行为规律进行眼动追踪和记录的眼动仪是最具代表性的设备。其中，传统屏幕式眼动仪在诸多实践中能够提供质量更佳的数据，但受限于设备的体积和形态，如今已经难以满足越来越多变的真实环境研究需求。随着科研探索的不断深入与研究范围的不断延展，基于真实环境的人类视觉行为研究变得越来越重要。为此，各领域的科研人员对穿戴式眼动仪的呼声也越来越高。相对于屏幕式而言，将眼动仪“可穿戴化”并非易事。核心的挑战包括关键元器件尺寸、光源与传感器布局、追踪视野和场景视角有效性、追踪能力与数据质量、真实环境下的校准有效性和持续性、偶发的位移（用手推眼镜等）对数据的影响、数据处理方式和效率，框架设计与佩戴舒适度等。面对这些挑战，市面上已有眼动追踪技术公司通过光学、材料学、工业设计和算法上的迭代和创新，在很大程度上克服了这些困难，使真实世界环境下的高质量眼动追踪数据收集与分析得以实现。

目前，眼动技术无论在设备层面还是在应用层面都已经十分成熟。在混合现实设备中，眼动技术组件通常由眼动摄像机和光源组成。数据和结果呈现方面则通过机器学习来处理和解析眼动摄像机所捕获的图像来生成实时数据流，如瞳孔大小、注视向量和眼睑开合度等。这些信息可以用来确定人们对刺激物的注意力追随表现、对场景的反应和意图。虽然相较于很多其他数字技术，眼动技术的市场份额不值一提，但是在人机交互、广告营销、工业设计以及特殊人群辅助领域已经有大量应用。例如，Tobii公司通过联合业界著名的VR设备开发和供应品牌HTC，已经在其Vive Pro Eye设备上部署了眼动硬件和算法，从而实现用户在应用和游戏体验上的眼动记录。

带有眼动追踪功能的HTC Vive Pro Eye

来源：Tobii中国

这些技术能够实现在视野中以一致的图形清晰度和准确度获得真实体验感，以此提升设备可用性和延长佩戴使用时间。在XR生态中，每一个参与方，包括开发者、内容创造者、设备制造商、系统建设者和网络运营商都有着专业的用户洞察力，并意识到高质量的沉浸式用户体验的重要性。眼动技术让这些生态伙伴共同获益，并成为XR领域不可或缺的交互核心。

2023年是头戴式混合现实技术持续发酵和增长的一年。目前，全球市场上已经有不下10款主流的混合现实产品。在应用上，这些产品还主要在专业领域发挥作用。但是，我们也看到针对消费端的产品普及正在逐渐升温，甚至类似苹果公司Vision Pro设备的同类产品将快速覆盖消费市场。进一步实现眼动技术适配消费级混合现实产品的进程还面临以下挑战：硬件成本有待进一步降低；硬件的轻量化和微型化集成；能耗的优化以及电池续航的延长；基于算法的生态繁荣（更多功能程序/插件的开发）；生物数据采集及应用的合规体系构建。

目前，上述挑战正通过不同专业领域的智库进行攻关。与此同时，商业模式的创新也亟待加强。可以想象，眼动技术在不远的将来会成为人们进行数字化交互的基础。在全球统一的眼动交互标准和技术规范的逐步形成下，眼动技术势必成为最普遍的高价值体验交互核心。