10月16日,深圳市欢创科技有限公司(以下简称:欢创科技)发布了基于视觉与惯性传感定位技术的VR手柄套件Camsense XR,能实现VR/AR单目视觉6DoF追踪。据了解该公司在视觉领域深耕多年,套件定位效果丝毫不亚于Oculus等主流产品。

“国内的Inside-out技术迭代,或许在一到两年内都很难赶超Quest。”就在之前Quest2的发布会结束不久,陀螺君在和某从业者闲聊时得到了这样的答案。

从头控到如今的6DoF,VR硬件的迭代发展正推动着内容生态的急剧进化。基于视觉的Inside-out追踪系统,为PC VR热门游戏《Beat Saber》、《SuperHot VR》提供了移植的可能性,更是促使涌现出一大批具有极高辨识度和玩法创新的移动游戏佳作。

不得不说,在VR行业发展初期,底层技术的发展离不开Facebook、微软、索尼等这些一众大厂的重金推动。而作为现今移动VR游戏的标配,Inside-out追踪系统也成为了大厂们底层技术生态中的最强盾牌。 在国内,基于视觉的Inside-out追踪系统依旧处在萌芽期,各家厂商都在积极探索和落地与视觉搭配使用的,基于电磁和超声波的其他追踪方案,而算法层面的薄弱问题几乎成为了阻碍国内Inside-out追踪系统发展的最大拦路虎。

那么,国内有没有一家企业对于Inside-out视觉追踪算法有着更为深入的探索? 此次VR陀螺到场体验了该产品,并采访到欢创科技CEO周琨,了解到该产品背后的渊源与背景。

定位效果媲美Quest?Camsense XR实现单目视觉6DoF追踪

虽然国内从事VR头显研发的企业层出不穷,但专注于6DoF手柄方案的企业却凤毛麟角。在手柄方案中,又可分为可见光、红外、激光、电磁等不同方案的产品。每一种方案都有其不同的优缺点,如可见光对光线环境有要求,且摄像头范围外无法捕捉;激光方案需要避免反光镜面;电磁易被金属干扰等。

区别于以上所有定位方案,Camsense XR采用了视觉追踪+惯性传感方案,并且是极其少有的支持单目6DoF的追踪方案。其主要应用于VR头显的手柄定位追踪,结合头部与手柄两端实现精准定位,可适配不同的头显设备。

整套方案由搭载两个摄像头的视觉定位模组以及两个6DoF手柄构成,由于该方案核心在于软件算法所呈现出来的定位效果,所以手柄的工业设计可根据头显厂商进行定制,而摄像头定位模组也可在头显设计时完全融入到产品中。

从参数来看,Camsense XR可实现距离1米、水平170°&垂直98°的6DoF追踪,定位精度动态条件下小于3mm,静态条件下约1mm,运算延迟低于10ms。

从市场上主流的VR头显来看,Inside-out已经成为主流的追踪方案,并且大多采用视觉定位追踪。如果是纯视觉定位的话,其缺点在于对于环境要求较高,并且当手柄移动到捕捉范围外时非常容易丢失,所以需要靠算法进行补偿。

而Camsense XR的优势在于,视觉追踪+惯性传感两者混合,当手柄位于摄像头追踪范围外时,可通过惯性传感进行补偿,同时结合算法,实现稳定流畅的手柄追踪效果。视觉追踪技术与惯性传感器一样都已经在其他领域广泛应用,具备较高的成熟度和稳定性。

VR陀螺在现场测试了该产品的性能和效果,并对效果进行了实时录制拍摄。 在摄像头追踪范围内快速移动手柄,几乎感觉不到任何延时;  VR体验的核心在于沉浸感以及更本能的交互方式,所以在一些体验中会有大幅度的手部动作交互,如拉弓射箭、扔手榴弹、跳舞、绘画等,在这些场景中往往手的动作会跳出摄像头的捕捉范围。如果手柄漂移、丢失或者延时高、反馈慢的话,体验将大打折扣,游戏的话甚至直接影响比分结果。在Camsense XR实测过程中,当手臂大幅度挥动时,在回到视角范围内的瞬间,手柄也随之出现,重定位算法可以在1ms之内完成手柄姿态的初始化定位,非常及时。 

除了测试了以上两个部分之外,VR陀螺还现场测试了该套件的另一个功能——单目6DoF追踪。一般来说正如人眼一样,空间定位也需要两个摄像头来检测深度,在一个摄像头的条件下能否进行精准的定位追踪?答案是可以的。 如视频中所示,在一个摄像头被遮挡的情况下,追踪的精度以及延时、响应速度丝毫未受影响。