侵权投诉
技术:
CPU/GPU 传感/识别 显示/微投影 追踪/定位 电池/电源管理/驱动 声学/光学 通信 OS/软件/算法 云服务/大数据 材料 其它
终端:
头盔 眼镜/盒子 一体机 配件 服务 渠道
应用:
游戏 影视/动漫 娱乐 医疗 军事 媒体 旅游 购物/餐饮 教育 工业/农业 家居 设计 其它
订阅
纠错
加入自媒体

Facebook新论文说明对镜面在虚拟场景中的重建

2018-07-14 03:16
AR酱
关注

基于传感器的扫描技术已经可以很成功的重建室内场景,但在这些扫描方案的应用中,镜子和玻璃等表面的重建成了显著的问题,一个镜子会在其中形成现实世界的镜像,而对于扫描系统来说,镜像世界和现实世界实际上很难区分,玻璃也会产生与镜子很相似的效果,然而这两者都是在扫描生活场景是不可避免的成分,由于它们造成的困难,最近场景重建方法(如Matterport3D)甚至都需要用户在扫描时手动选择窗户和镜子。

最近,Facebook的研究人员发表了一篇论文,用于在扫描过程中自动识别镜子和玻璃等容易产生镜像的表面,并且对该表面平面实现精确的识别和边界的检测。

根据论文,Facebook的研究人员采用的是一种称为AprilTag的标记方案。这个AprilTag实际上是一种用于机器人视觉等的技术,看起来就像是一个二维码,在机器人视觉的运用中,AprilTag可以贴于障碍物上,传感器对这个“二维码”进行识别,就可以了解前方的障碍,并做出应对。

在论文中,对AprilTag的运用更有趣一些,简单地说,它没有选择将AprilTag贴在镜子和玻璃表面再由扫描设备识别(可能这样还不如直接在扫描过程中选择镜面方便),而是在扫描装置的下方的一个画有AprilTag的薄片上,对于可以形成镜像的物品,扫描设备即可识别镜像中的AprilTag,对于不能形成镜像的物品,就没有AprilTag的镜像了。

关于镜面表面和边缘的识别,镜面表面是通过将Slam装置精确的姿势估计和观测AprilTag的镜面图像在空间的移动两者结合起来运算得到的。

而对于的边缘的识别,则是依靠多个功能通道的识别实现的,其中包括几何识别、图像强度识别、AprilTag特征识别等等,通过将这些不同特征的识别计算,即可估计出镜面边缘的位置和样式,这还被用来区分玻璃和镜面的反射,因为玻璃的反射更模糊,图像范围更大,而镜面反射则更加保真。

当然这里只是简单的解释,实际上,为了均匀的镜面反射和更好地识别,对于照明光线、画有AprilTag的薄片的组成都有更为严谨的要求,而如果去看镜面表面识别和边缘估计的论文部分,就会看到大量的公式计算。

那么,这种方法的效果如何呢?Facebook的研究人员在i7-5930K 、NVIDIA TITAN Xp GPU和Ubuntu16.04的环境下实现了重建系统的配备,其中深度图的分辨率为960×640像素,RGB图像的分辨率为1224×1024像素。包括深度提取,深度融合,几何使用双轮廓提取,纹理生成在内的重建系统可以在在大约37Hz的频率下运行;在使用12个线程时,系统可以以大约70Hz估算RGB图像中的AprilTag位置。

另外,对于边界提取的特征计算在大约38Hz的频率下运行;边界分割优化的吞吐量是每秒60k像素,640×480像素的特征通道集需要约5.12秒进行分割,在700帧下重建一面面积大约0.5平方米的镜子大约需要90秒,而且单个镜面观察的几何误差基本始终为零。


这种方法当然也有它的局限性,首先它对于无框镜面或者遮挡镜面的边缘识别并不好;再者,由于它对镜面的识别完全基于AprilTag,如果输入装置没有观测到或者无法识别图像质量很差的AprilTag,那对于镜面的重建就会出现问题。比如虽然这种方法可以在单个的观察中精确观测镜面,但它在门、玻璃、或者是弯曲非常严重的表面(凸面镜、凹面镜等)的观测效果很明显更差,就是由于检测到的AprilTag的投影位置变化、扭曲了的缘故;另外,如果扫描装置快速移动,也有可能会造成AprilTag图像的失真,系统无法检测到该图像,导致重建失败。

声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

推荐专题

VR 猎头职位 更多
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号