原标题：HoloLens2的幕后故事：通过人工智能交付混合现实

　　华盛顿州，雷德蒙德——当人们第一次戴上全新HoloLens 2时，设备会自动开始识别他们：它会测量包括用户手的准确形状、精准的瞳距在内的一切数据。在英国剑桥领导HoloLens科学团队的资深科学家Jamie Shotton表示，实现这些功能的人工智能研发过程“惊人的复杂”，但如果想让使用该设备的体验变成一种“本能”体验，这些研发工作至关重要。

　　“我们希望用户不用专门学习，就知道如何使用HoloLens。”他补充到：“我们知道如何与现实世界中的事物进行交互：我们拿起东西，按下按钮，然后指向目标物。我们致力于将其直接转化为混合现实。”

　　微软今天宣布HoloLens 2正式开始向客户发货。这款内置传感器的全息计算头戴显示设备利用人工智能代替时间和空间，创造出一个由人、位置和物体组成的混合现实，以促进我们最基本的人类冲动之一：交换知识。

　　微软技术院士Alex Kipman表示，我们希望这款头戴显示设备可以展示智能边缘设备的优秀能力——支持人工智能技术，即使没有稳定的互联网连接，也能收集和处理数据——并在联网时与智能云共享部分或全部数据。

　　不久之前，Kipman在他办公室的数字白板上勾勒了这种普适计算结构的示意图。他说：“HoloLens是微软首个基于这种世界观开发的设备。” HoloLens 2中的人工智能与微软云计算平台Azure的人工智能功能相结合，让那些需要腾出双手操作的一线工作人员能够学习有助于职业发展的技能，并使地球两端说不同语言的人能够通过对物体的互通认知进行协作。

　　微软公司Microsoft Azure部门副总裁Julia White说：“你可以通过HoloLens做真正有趣的事，也可以通过云来做真正有趣的事。但是当这两者相结合时，你会发现，它改变了人们实际做事的方式方法。”

　　通过人工智能交付混合现实

　　为了实现与HoloLens 2的自然交互，Shotton和他的同事共同开发、训练人工智能模型，并将其部署在设备上，以跟踪人们的手部动作和视线，比如人们可以感知漂浮在自己眼前的全息影像并伸手调整大小或对其重新定位。

　　为了构建手部跟踪系统，该团队制作了一个带有向内指向的圆顶摄像头设备，用来记录人们各种各样的手形。之后团队会使用离线的云处理技术来构建能够代表所有人手形和动作的3D模型。通过这个3D模型，团队能够使用计算机图形来渲染逼真的合成人手图像和合成标签，从而使该模型能够适用于各种手形、姿势和运动。Shotton说：“你可以有效地生成无穷多的训练数据。”

　　该团队使用这些数据来训练一个紧凑型深度神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能够对来自设备的深度传感器的每一帧画面进行高效处理。当新用户戴上HoloLens 2时，系统会利用这个神经网络构建一个适合用户手掌大小的个性化3D模型，从而实现与全息影像自然交互所需的精确跟踪。

　　Shotton的团队采用了类似的方法来构建和训练眼球跟踪模型，密切关注瞳孔间距——即双眼瞳孔中心之间的距离，瞳距因人而异，它会影响一个人看近处或远处物体的方式。最终这个眼球跟踪模型，可以让HoloLens 2能够在客户面前精确显示全息影像，让他们用手和眼睛同HoloLens 进行交互和操作。

　　Shotton表示：“眼球追踪、全息影像和现实世界的匹配、人手的互动，所有这一切，如果没有足够的精度，根本谈不上本能自然的交互体验。”