(相关资料图)

虽然它目前可以在栓系VR耳机中使用位置跟踪传感器作为控制器，但六自由度(6DOF)控制器跟踪是独立VR耳机的圣杯。 正如Adobe的DimitriDiakopoulos发现的，并在RoadtoVR中注意到的那样，谷歌已经提出了一种廉价的人工智能辅助方法，将6DOF控制器跟踪功能添加到一个独立的耳机中-详细信息包括在最近的谷歌研究论文中。

这个技巧开始于使用在独立的VR耳机中已经找到的相同的两个Fisheye相机来跟踪用户的手和手臂的位置。 在软件方面，它依赖于一个用手、手臂和控制器位置训练的神经网络来估计用户已知掌握中的真实世界控制器的未知位置。 一个由547，000个立体图像对组成的数据集被用来训练网络，由20个用户在不同的照明中做13个动作来编译。

“我们的关键观察是，用户的手和手臂为控制器在图像中的位置提供了很好的上下文，”谷歌研究人员写道，“即使控制器本身可能被遮挡，也是健壮的线索。 为了简化系统，我们使用相同的相机耳机6-DoF姿态跟踪移动HMDs作为我们的输入。 在我们的实验中，它们是一对立体声单色鱼眼相机。 我们不需要超出标准基于IMU的控制器的额外标记或硬件。

目前，谷歌能够确定控制器的位置在一个平均33.5毫米的错误率-只有1.32英寸-当它知道手和手臂的位置。 目前，该系统在一个移动CPU核心上运行在30FPS上，不需要任何物体发光来正确地跟踪其位置。 但该公司认为，它可以优化系统，以更快和更准确的跟踪，以及扩大到无控制器的手跟踪。 预计谷歌将在5月8日召开的I/O开发者大会上对此发表更多的看法。

关键词： 真实世界 人工智能 神经网络