侵权投诉
技术:
CPU/GPU 传感/识别 显示/微投影 追踪/定位 电池/电源管理/驱动 声学/光学 通信 OS/软件/算法 云服务/大数据 材料 其它
终端:
头盔 眼镜/盒子 一体机 配件 服务 渠道
应用:
游戏 影视/动漫 娱乐 医疗 军事 媒体 旅游 购物/餐饮 教育 工业/农业 家居 设计 其它
订阅
纠错
加入自媒体

Oculus Rift 的VR定位技术

2016-06-24 09:43
九一隐士
关注

  2016,VR元年,oculus、HTC、索尼等这样的重量级厂商纷纷推出或宣布了自己的消费级硬件产品来抢占消费者市场,相信广大VR爱好者们中的很多人都已经入手了一款虚拟现实设备。在这些硬件当中,Oculus Rift CV1(以下简称“CV1”)无疑是最受人瞩目的硬件产品之一,毕竟它有2014年拿了Facebook20亿美金这样的大事件撑腰。

  本文作者系G-Wearable软件工程师。

  众所周知,Oculus Rift采用的是主动式光学定位技术,那它到底是如何实现的呢?

  基本实现流程:

  Oculus Rift设备上会隐藏着一些红外灯(即为标记点),这些红外灯可以向外发射红外光,并用红外摄像机实时拍摄。获得红外图像后,将摄像机采集到的图像传输到计算单元中,通过视觉算法过滤掉无用的信息,从而获得红外灯的所在方向,再利用PnP算法,即利用四个不共面的红外灯在设备上的位置信息、四个点获得的图像信息即可最终将设备纳入摄像头坐标系,拟合出设备的三维模型,并以此来实时监控玩家的头部、手部运动。

  注:具体可看如下图,注意上面这些红色的小点点。

  接下来我将向大家介绍一下我的推理过程,以及算法的一些细节。

  头显上的LED灯

  解密Oculus Rift 的定位技术

  前文中我提到我们需要利用四个不共面的红外灯在设备上的位置信息来进行定位,而如果想要知道不同的红外灯在设备上的位置信息,就必须能够区分不同的红外灯。

  为什么这么说呢,如果不区分红外灯,那么当DK2(注:特指头显)在空间中运动时,摄像机捕捉到光点后,要进行关联(姿态最优匹配的过程)的次数 会非常大,举个列子:

  1) 如果有N预测图像点和M <= N观察图像点,则有N!/(N-M)!可能的关联

  2) 对于N = 40和M = 20(对DK2 LED的数量),有3.3×1029的关联,所以就算是计算机,也无法快速地得到结果。

  很显然,DK2一定是采用了某种先验的方式区分光点。那么问题来了,DK2到底是如何区分的呢?

  我曾看到有文章中猜测说DK2是通过LED灯的亮灭来区分的,实际上却并非如此。因为虽然通过LED灯的亮灭来区分比较简单,因为亮灭最容易区分出来,但是这种方法有个缺陷,就是无法区分是姿态改变导致的LED灯被遮挡,还是LED灯本身就熄灭了,所以,DK2没有使用这个方法,而是采用LED灯光信息的强弱来实现的。我们来观察用灰度摄像机拍摄的图:

  

  

  对比上面两图,可以发现亮斑的大小有变化。可以看出红色部分,在图2时光斑更大,蓝色则相反。接下里我们看详细的做法。这里必须说一下,在推测具体的做法过程中,我曾误以为DK2直接判断光斑大小,然后根据多帧图像的规律来判断LED灯的ID,但实际上DK2是使用差分法来判断光斑大小。我在这里简单给大家介绍一下我的推理过程。

  首先我用自己的摄像机拍摄了大量照片进行观察后发现如果把摄像机用60HZ左右频率拍摄,图像每10张就会开始重复。

  我先给光点编个号,如下图:

  

  比如,2号点的可以用肉眼识别的强弱顺序:弱,弱,强,强,弱,强,弱,弱,弱,强。

  那么是不是这样呢?如何在DK2中表示这些强弱关系呢?

  首先,已知SDK的windows的driver会发送一个开始信息,让头显开始运作;

  紧接着,这个driver就会不断接收到下面信息:

  

  X1 X2 X3 X4 是1个32位数,是图像分析后得到的空间坐标(原理后面给大家解释),DX则不知道干什么用,但是观察上面的num,换算出来是40,index从1开始,不断递增到40,说明DK2在一个一个的识别LED灯,另外,这些信息每17ms左右发上来一次,和60HZ的拍摄频率差不多,基本上可以认定是利用每10帧确定一个LED的方式。

1  2  3  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号