Lattice Blog

Share:

位置跟踪技术——VR体验打破次元墙

Bringing VR Experiences to Life with Positional Tracking Technology
Posted 03/20/2018 by Ying Chen

Posted in

"隆与敌人相对而立,静待对方主动出击。。。
眨眼间,敌人一声暴喝,全速向他冲来。隆猛然一退,躲闪开去。他堪堪躲过砸向他身体的这一击,惊险之余只看得到一抹拳影。余光中他看见敌人的另一只手作势就要袭来,便猝然弓身,抓住这个绝佳的机会送出一记上勾拳..."

虚拟现实(VR)绝不止于引人入胜的炫目3D画面,流畅地反馈用户的手势、姿势、动作和站位,对于实现身临其境的浸入式体验至关重要。如果无法快速准确地跟踪用户的动作,要实现上述打斗戏根本是天方夜谭。更糟的是,跟踪问题会导致内容不连贯,动作延迟。因此,动作和位置跟踪必须实现高准确性和低延迟。

完整的跟踪系统包含动作跟踪和位置跟踪。动作跟踪通常通过惯性测量单元 (IMU)实现,包含加速计和陀螺仪,有时也包含磁力计。位置跟踪通常根据配置方式来分类。目前主流VR平台使用的位置跟踪技术实际上有两种:outside-in和inside-out,二者各有优劣。Outside-in跟踪对计算能力要求相对较低,但需要额外设置来定义被跟踪区域。Inside-out跟踪的设置相对简单,但对复杂视觉处理和计算性能有更高要求。

Outside-in跟踪

outside-in跟踪是Oculus Rift、HTC Vive和PSVR等VR平台的基础,需要用到外部信标或跟踪器。HTC Vive平台使用SteamVR灯塔(SteamVR Lighthouses)作为信标,实现与头戴显示器(HMD)上的红外接收器和手持游戏柄等配件的连接;Oculus Rift索尼的PSVR使用外部摄像头来跟踪HMD和配件上的信标。这些解决方案需要妥善放置跟踪器/信标来定义活动区域。

outside-in跟踪的优势是信标或标记可以提供清晰的信号/模式,简化跟踪计算。需要处理的数据更少,所需的计算能力就更低,跟踪准确率也就更高。另一方面,用户必须在跟踪器/信标的视距范围内活动以防遮挡。这意味着跟踪器/信标的放置必须合适,使用范围内不能有过高的家具或植物。而这对空间有限的用户来说,是一个难题。

Inside-out跟踪

Inside-out跟踪通常使用立体视觉或ToF(Time of Flight)传感器来测绘相对位置的变化。无标记的纯inside-out跟踪运用同步定位和地图构建(SLAM)算法来建立或更新未知位置环境的地图,同时跟踪用户的位置。有的平台使用外部信标来简化计算。微软最近发布的混合现实头盔、因特尔基于RealSense技术的项目Alloy VR头盔和Ximmerse的X-Cobra均以inside-out跟踪为基础。

其最大优势是可以在大多数地方使用,且无需大动干戈进行配置。这般便捷并非全无代价。Inside-out跟踪以立体视觉为基础,需要强大的机器视觉处理。复杂计算处理对PC而言不算困难,但对驱动HMD的移动处理器却是一大挑战。高效能的加速器可以大幅缩小性能差异。

上述的许多平台中均应用了莱迪思低延迟、高灵活性的FPGA。在维尔福软件公司的SteamVR跟踪中,低功耗、低成本的iCE40 FPGA用于执行红外接收器的低延迟、同步数据捕捉。CrossLink视频桥接FPGA也被用于inside-out跟踪平台,连接并聚合多个MIPI CSI-2图像传感器数据从而让PC进行SLAM处理。针对移动VR,Ximmerse的X-Cobra不仅将ECP5 FPGA运用于立体摄像头接口和聚合,也将它用作移动处理器的额外加速器,实现低延迟立体视觉处理。莱迪思的其他VR/AR解决方案包括:用于无线VR的WirelessHD,消除最后一根线缆,营造百分百浸入式虚拟世界;360度摄像头的多摄像头聚合;适用于微型显示器的MIPI桥接。

随着VR技术的稳步发展,提供更优跟踪功能、更身临其境VR体验的新系统指日可待。 莱迪思全面的智能互连产品将继续推动VR技术的发展,为位置跟踪技术实现低延迟、同步数据采集和高效的视频计算功能。

Share: