Oculus Rift 的VR定位技术
2016,VR元年,oculus、HTC、索尼等这样的重量级厂商纷纷推出或宣布了自己的消费级硬件产品来抢占消费者市场,相信广大VR爱好者们中的很多人都已经入手了一款虚拟现实设备。在这些硬件当中,Oculus Rift CV1(以下简称“CV1”)无疑是最受人瞩目的硬件产品之一,毕竟它有2014年拿了Facebook20亿美金这样的大事件撑腰。
本文作者系G-Wearable软件工程师。
众所周知,Oculus Rift采用的是主动式光学定位技术,那它到底是如何实现的呢?
基本实现流程:
Oculus Rift设备上会隐藏着一些红外灯(即为标记点),这些红外灯可以向外发射红外光,并用红外摄像机实时拍摄。获得红外图像后,将摄像机采集到的图像传输到计算单元中,通过视觉算法过滤掉无用的信息,从而获得红外灯的所在方向,再利用PnP算法,即利用四个不共面的红外灯在设备上的位置信息、四个点获得的图像信息即可最终将设备纳入摄像头坐标系,拟合出设备的三维模型,并以此来实时监控玩家的头部、手部运动。
注:具体可看如下图,注意上面这些红色的小点点。
接下来我将向大家介绍一下我的推理过程,以及算法的一些细节。
头显上的LED灯
解密Oculus Rift 的定位技术
前文中我提到我们需要利用四个不共面的红外灯在设备上的位置信息来进行定位,而如果想要知道不同的红外灯在设备上的位置信息,就必须能够区分不同的红外灯。
为什么这么说呢,如果不区分红外灯,那么当DK2(注:特指头显)在空间中运动时,摄像机捕捉到光点后,要进行关联(姿态最优匹配的过程)的次数 会非常大,举个列子:
1) 如果有N预测图像点和M <= N观察图像点,则有N!/(N-M)!可能的关联
2) 对于N = 40和M = 20(对DK2 LED的数量),有3.3×1029的关联,所以就算是计算机,也无法快速地得到结果。
很显然,DK2一定是采用了某种先验的方式区分光点。那么问题来了,DK2到底是如何区分的呢?
我曾看到有文章中猜测说DK2是通过LED灯的亮灭来区分的,实际上却并非如此。因为虽然通过LED灯的亮灭来区分比较简单,因为亮灭最容易区分出来,但是这种方法有个缺陷,就是无法区分是姿态改变导致的LED灯被遮挡,还是LED灯本身就熄灭了,所以,DK2没有使用这个方法,而是采用LED灯光信息的强弱来实现的。我们来观察用灰度摄像机拍摄的图:
对比上面两图,可以发现亮斑的大小有变化。可以看出红色部分,在图2时光斑更大,蓝色则相反。接下里我们看详细的做法。这里必须说一下,在推测具体的做法过程中,我曾误以为DK2直接判断光斑大小,然后根据多帧图像的规律来判断LED灯的ID,但实际上DK2是使用差分法来判断光斑大小。我在这里简单给大家介绍一下我的推理过程。
首先我用自己的摄像机拍摄了大量照片进行观察后发现如果把摄像机用60HZ左右频率拍摄,图像每10张就会开始重复。
我先给光点编个号,如下图:
比如,2号点的可以用肉眼识别的强弱顺序:弱,弱,强,强,弱,强,弱,弱,弱,强。
那么是不是这样呢?如何在DK2中表示这些强弱关系呢?
首先,已知SDK的windows的driver会发送一个开始信息,让头显开始运作;
紧接着,这个driver就会不断接收到下面信息:
X1 X2 X3 X4 是1个32位数,是图像分析后得到的空间坐标(原理后面给大家解释),DX则不知道干什么用,但是观察上面的num,换算出来是40,index从1开始,不断递增到40,说明DK2在一个一个的识别LED灯,另外,这些信息每17ms左右发上来一次,和60HZ的拍摄频率差不多,基本上可以认定是利用每10帧确定一个LED的方式。

最新活动更多
- 可穿戴传感器设计工程师 武汉久乐科技有限公司
- 智能可穿戴嵌入式高级开发工程师 深圳市微队信息技术有限公司
- 智能手表/手环可穿戴平台软件研发工程师 广州软拓信息科技有限公司
- 产品结构设计 MD设计师 蓝牙 可穿戴产品 深圳市路路哒科技有限公司
- 智能可穿戴设备人员 济南汇通远德科技有限公司
- 可穿戴项目开发经理 广芯微电子(广州)股份有限公司
- 高级嵌入式软件工程师(可穿戴式医疗器械方向) 浙江清华柔性电子技术研究院
- 高级通信标准工程师(物联网与可穿戴设备) OPPO
- 可穿戴设备嵌入式开发 北京商高科技有限公司
- 可穿戴医疗营销副总 达铭实业(宿州)股份有限公司
- 嵌入式软件工程师(ARM) 山东省/潍坊市
- 光学工程师 山东省/潍坊市
- 华东销售经理 江苏省/苏州市
- 高级采购 北京市/海淀区
- 海外销售工程师 北京市/海淀区
- 海外销售经理 北京市/海淀区
- 销售工程师 北京市/海淀区
- SEO搜索引擎优化专员 北京市/海淀区
- DQE经理 广东省/深圳市
- 业务员 广东省/深圳市
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论