厂商中为何只有苹果选择了LiDAR传感器?苹果如何将LiDAR集成至成像系统?

对于普通消费者来说,似乎LiDAR更像是增强相机功能的一个辅助黑科技,但其实它是为AR而生。LiDAR作为探测器已存在多年,它与现在手机摄像头多采用的ToF以及传统雷达相似,都是基于雷达反射原理进行三维空间内的感知和测量。

这三者的区别在于所发射的光束不同,LiDAR发射是红外激光,ToF发射的是红外线,而传统雷达发射的是电磁波,三种光束中LiDAR波长最短,在短距离范围(苹果对LiDAR的短距离范围定义为5米)内所能实现的测量精度最高。

因此,LiDAR在雨雪天气或是夜间摄像头无法发挥作用时实用性很强,这项技术受到了自动驾驶、夜间城市拍摄系统的广泛应用,这也是LiDAR为苹果摄像效果带来的好处之一。

但如果只是单纯想要提高拍摄效果,LiDAR对苹果而言不一定就是最好选择。

iPhone 12 Pro出来后,很多网友拿华为P40 Pro与之进行对比。配备广角、超宽、3倍远摄、10倍远摄以及ToF 五个后部传感器的华为P40 Pro拍摄效果毫不逊色。

从这里也可以看出,苹果选择为iPhone搭载LiDAR并不只是摄像要求这么简单。

而且LiDAR装置价格相对昂贵,体型也并非像今天苹果所搭载的那样如此小型,可被直接集成到成像系统。苹果想要在iPhone上实现搭载,需要将价格降到很低并且将尺寸缩得很小。

因此在ToF能基本满足目前智能手机所需的探测精度、距离等各方面需求时,即便LiDAR会带来更优质的体验,除苹果外的手机厂商依然不约而同采用了ToF传感器。

苹果其实在对LiDAR的应用与掌握上比一般厂商有优势,因为其一直在研发的自动驾驶汽车所使用的主要传感器便是LiDAR。
即便如此,苹果同样要解决LiDAR高成本与难以小型化的问题。

早期的LiDAR体型很大而且并非民用,其应用领域多为航天、遥感等大型设备与装置。随着固体光源的发展,其体型才有了逐步减小并被运用到直升机等装置的机会。借助激光雷达高分辨率的探测,飞行员可在显示屏上直接看到场景、物体的形状。

苹果为了实现在iPhone上搭载LiDAR,据了解,采用了VCSEL激光+SPAD探测器的技术组合,在使用半导体制造技术制造激光器时选择了由Lumentum制造的一系列垂直腔表面发射器(VCSEL)而非边缘发射激光器来发射光束,并采用一组单光子雪崩二极管(SPAD)传感器来检测返回的光束。

VCSEL与SPAD都可利用常规半导体技术制造,并且均可被大量封装在一个芯片上,两者的组合大大简化了传统激光雷达的设计。

而且半导体随着行业经济体量的扩大价格越来越便宜,基于VCSEL的传感器也越来越普遍,价格逐步走低。这也是苹果能实现在iPhone上搭载LiDAR的重要原因。

此外,苹果搭载的LiDAR相较于专业激光雷达公司制造,探测范围可达200多米的高端传感器,其性能还差得很远,因此在技术上的难度已大大降低。

正是这一系列条件的满足,让苹果成功实现了在移动端搭载LiDAR。

Lidar效果实测

AR眼镜被视为AR的终级载体,任何有关苹果AR眼镜Apple Glass的消息都极易激发大家的兴趣。

一款未被验明真身的产品能有如此大的吸引力,也只有苹果能做到了。

如果苹果的AR眼镜是苹果AR生态的最终走向,那么苹果现有移动端的AR生态对AR眼镜肯定有很强的基础意义。陀螺君大胆猜测,如果苹果的AR生态推行顺利,其未来的AR眼镜内容很多将来自苹果移动端的适配。

而苹果在一项遭曝光的专利“具有低光操作的头戴式显示器”中表示,搭载LiDAR的头显设备能在黑暗环境中充当佩戴者的第三只眼睛,因此大家普遍推测苹果的AR眼镜有可能会搭载LiDAR。

我们不妨借苹果现有几款相对典型的AR应用一窥苹果AR眼镜未来可能的功能。

1、3D扫描建模应用-《3d Scanner App?》

《3d Scanner App?》被称为苹果未来布局AR的重要软件,其适用于iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。该应用借助LiDAR,可针对无论是小型对象还是大型场景快速创建3D模型。

3D建模原本属专业级操作,但随着AR应用逐步精简化,开始向建模爱好者甚至是普通用户过渡,比如正在介绍的《3d Scanner App?》。

该应用操作简单,打开应用点击扫描按钮便可对场景进行快速建模,初步扫描后可通过“Colorize(着色)”功能为无实景颜色的模型添加贴图,将模型还原成所扫描的场景。

模型呈现效果分辨率虽然不够高,呈油画质感。但与价格昂贵的3D扫描机器相比,仅使用移动设备能够快速建模并还原场景雏形,效果已非常不错。

陀螺君使用《3d Scanner App?》分别对人和物做了实测,操作起来确实方便,而且扫描过程流畅,中间无卡顿。但是,扫描完成后,如果扫描对象复杂度稍微偏高,尤其是选择高精度测量时,其等待时间容易让人怀疑人生。

仔细扫描与粗糙扫描之后得出的效果差别较大,扫描对象的复杂程度对扫描结果也会产生直接影响,粗糙扫描得出来的模型画质感人。

扫描外观整齐度高、复杂程度低、不透光的对象,比如墙壁、地板．．．．．．或者垃圾桶,虽然依然是油画画质,但测量精度与还原度都不错。可以看到下图中的垃圾桶尺寸精度与色彩还原度都非常高。

与之形成鲜明对比的是陀螺君对盆景、座机进行的扫描,座机的细节基本扫描不出来,模型完全是火灾过后的画风。

而盆景由于实物细节更加丰富,交叠的树叶基本处于处处透光的状态,在陀螺君未进行非常精细扫描的前提下,扫描出来的效果与抱枕、垃圾桶相比差别较大。

《3d Scanner App?》扫描人的效果比想象中好,虽然扫描不够精细,人物模型也俨然一副没有灵魂的奇怪样子,但头发的发色过渡、衣服的纹理、材质等细节还原度非常高。从大小比例上来看,也能与真实人物保持一致。

通过视频,我们还可以看到将真实人物与3D模型放在同一个空间时,两者之间有明显的遮挡关系,当人物走到模型前面时,虽然会有穿模现象,但模型明显被遮挡。这样的交互便是归功于LiDAR带来的深度信息理解。

陀螺君还试过扫描光泽度较好的小型金属物品,金属质地反光较为严重,扫描出的模型能看出是金属但细节严重缺失。

整体来看,《3d Scanner App?》在LiDAR的加持下确实实现了速度更快、精度更高的扫描与建模,虽然建模效果在分辨率与细节上与专业建模有一定差距。

但未来精度提高后,如果能达到理想状态,用户配戴AR眼镜有可能实现将任何现实场景建模,并制作出属于自己的小型孪生世界,如果再结合成熟的3D打印,未来有可能实现一定程度上的“万物克隆”。

《3d Scanner App?》比照片与视频的还原度更高,完全是一种新的记录方式。而且《3d Scanner App?》与3D建模网站SketchFab建立直接联系,且针对文件格式、分享、查看方式等细节做了处理。

因此对用户而言,从扫描建模到编辑渲染再到分享,线路完整,未来完全有可能成为建模爱好者或者普通用户的社区集中地。

陀螺君觉得未来可能出现类似Facebook、Twitter、朋友圈具备分享功能的3D建模爆款应用,用户遇到想建模的任何对象,用AR眼镜即可扫描建模上传并与朋友分享。

2、AR游戏《Angry Birds AR: Isle of Pigs》

AR游戏是AR应用的重要方向之一,《Angry Birds AR: Isle of Pigs》是2019年基于原Angry Birds IP开发的AR版,该版本使用ARKit开发,增加了增强现实元素。

AR版在游戏开始前启用摄像头对现实环境进行扫描,以实现环境与游戏的融合。

玩家在现实环境选定的范围内搭建3D游戏建筑,在进行弹射时,可通过在现实世界中移动身体位置来寻找最佳射击角度。人体在进行移动时,菜单也会随着玩家移动以保证方向正对着玩家。

陀螺君试玩后发现,与未搭载LiDAR的版本相比,新版本的《Angry Birds AR: Isle of Pigs》游戏场景对于具备深度信息的真实场景做出的反应并不相同。

从光影效果角度,视频中我们可以看到,与之前版本无形状的模糊阴影相比,搭载LiDAR后的版本,游戏画面中无论是建筑、弹弓还是植物,其阴影轮廓与边界都很清晰。浮在空中的气球从手机端看,几乎完全与真实背景融为一体,看不出是虚拟物体,非常真实。

将画面放大,画质依然非常清晰,无论是建筑还是动植物,其细节呈现效果上佳。搭建的虚拟建筑与地面的稳合度非常高,很真实,几乎完全没有浮在表面的现象,而且稳定性好,即使陀螺君摇晃手机也没有出现肉眼可见的漂移或是其他不稳定的情况。

从这些变化中,我们可以看到ARkit在与LiDAR结合后,AR游戏的交互拟真度进一步提升,其原因就在于LiDAR所具备的深度空间扫描和感知能力。

随着苹果手机性能的继续迭代,将拥有比A14芯片更加强大的AI算力,未来的AR游戏可能会识别出真实的物体,比如桌面上放的是杯子还是手机,从而触发一些虚拟与真实物体的交互。

强交互往往意味着设备中要集成大量的传感器,以现阶段的VR头显为例,想要实现6DOF的交互,就一定要集成深度摄像头,想要轻薄,就只能用超短焦的方案,设备也就只能主打观影。

所有厂商都在性能、易用性和可落地性方面寻求着一种平衡。而对于苹果来说,打头阵的A系列芯片可以在AI算法层面为手机提供很多的AR功能呈现,这就体现在ARKit上,它不占用硬件体积、对消费者而言甚至没有成本。

而后来LiDAR的使用,是为进一步增强ARKit的性能而出现的——苹果的思路是用轻量级的软件、算法装备硬件,从而让苹果设备实现了在严格把控成本、设备迭代跨度的情况下一步步赋予苹果设备越来越强的AR性能。

无疑,未来苹果的AR生态会一直走算法服务硬件的路子,这也助力苹果打造出比同行业轻薄许多的AR硬件产品来。因此苹果制造出极度接近眼镜形态,与目前行业内臃肿的AR眼镜形态相区别的产品是有可能实现的。

结语

目前来看,不仅仅是ARkit,苹果还推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具,让其移动端的AR生态布局在软件、算法层面的完善度不断增加。

对苹果而言,现在最缺乏的是好的软件内容用以吸引用户适应AR的存在,而苹果搭载LiDAR的意义正在于此。

陀螺君认为,苹果AR生态未来能实现的理想状态是将手机移动端用户迁移至AR眼镜。当AR眼镜推出时,其将拥有替代并且超越手机的基础功能,而手机移动端也已培养出成熟的AR软件开发者、融入用户生活的杀手级应用,以及对AR高接受度的用户。

以苹果移动端庞大的用户基数、所积累的软件基础,以及与安卓截然不同、高度统一的封闭式生态,如果苹果能够成功,那么苹果AR眼镜的推出必将会带来新的浪潮。