文/VR陀螺 小钻风

Facebook近日分享了自己在手部追踪、触觉反馈方向的研究成果——能读取手腕神经信号的EMG(肌电图)手环,EMG手环从人机交互模式来看可被视为脑机接口设备的一种。  

事实上,这款EMG手环的原型正是来自于2019年底被Facebook收购的脑机接口公司CTRL-labs。 Facebook研究这款手环用来干啥?简单点说,是为了实现更好的触觉反馈与手部追踪效果,也就是更好的手部交互。

手部交互作为更自然的交互选择,在AR/VR中并不新鲜,支持手势识别的头显也不在少数。 但就效果而言,即使是做到个中翘楚的Facebook,其Quest 2头显的交互设计仍然以手柄为第一交互方式,手势识别为次一级选择。 就目前来看,VR的人机交互模式现阶段已经有了,下一步朝哪个方向发展并不明确,而AR现阶段尚未定义出。  

延用手柄,下一代计算机平台交互模式尚未定义  

诺亦腾CTO戴若犂此前曾表示VR的C端交互形态可能不会再有革命性变化。从目前情况来看,头显视听从1968年到现在完全没有变过,人机交互一直在变,但已趋于稳定,手柄依然是第一选择。 回顾移动VR人机交互的演变史,VR最开始的交互形式是定时瞄点,或者说凝视操作,最早出现在Google Cardboard上。用户戴上VR头显后,眼睛的正前方会出现一个瞄点,它会随着用户头部同步移动。当用户的注视点,或者说瞄点停留在某个区域时,过了倒计时时间,会激发点击操作。

而后在瞄点的基础上添加了触控板和返回按键,用户通过在触控板进行滑动进行菜单的选择、翻页等操作,通过按键时间的长短进行功能或动作选择。

以上两种方式局限于头显操作,用户的交互选择非常不便,直至外置蓝牙手柄出现才改变这一现状,当时的蓝牙手柄主要针对游戏设计,并非针对VR设备,因此适用性并不够好。

之后才有针对VR设备的手柄控制器,新的手柄还含有IMU能进行姿态识别,让交互方式变得丰富,玩家可实现推动、击打、投掷等动作模拟,但只有3DoF自由度,以小米VR、Oculus Go、Pico小怪兽为代表。 3DoF后来升级为6DoF,在Facebook推出VR一体机Quest后开始大幅度普及,以Quest系列、Pico Neo 2为代表。

Quest 2手柄(图源:VR陀螺)

除了手柄外,语音控制作为一种自然的人机交互形态后也被纳入,2020年中旬Facebook便在Quest头显推出,上个月在此基础做出升级在Quest 2上线语音唤醒功能。 但现在的手势识别功能基于头显的摄像头,受光线、摄像头追踪范围等限制,而且有一定程度的延迟,达不到理想状态下的手部交互效果,因此依然无法替代手柄。 为了追求自然的交互效果,眼动追踪功能正在成为倍受追捧的对象,但目前还没有正式搭载眼动追踪的消费级头显设备面市,今年或许有机会体验。

回顾VR头显的人机交互演变史可以看到,当交互过渡到蓝牙手柄后形态基本保持稳定,即使是有了手势识别,依然停留在手柄阶段。 与VR头显相比,AR眼镜的交互演变更像是静态的,Google最早一代AR眼镜Google Glass,依靠眼镜一侧的触控板支持用户进行输入,演化至今,尽管已有设备融入基于SLAM的手势识别操作,但更为成熟的落地方案依旧还是以控制器、手机、PC等外设实现操作最为常见,代表产品有Dream Glass等。

在具备手势识别的AR交互设备当中,HoloLens凭借着多种深度传感器组合,用于精确感知环境与用户的手势,但售价过高难以进行普及;而眼球追踪、体感手套等交互方案因为目前技术、成本并未趋于成熟,并不具备面向市场铺开量产的特性。

总的来说,今天的VR交互更像是专门为VR游戏(或是全封闭式体验)而打造的妥协方案;而AR交互更惨,消费端的人们依旧停留在上个时代的鼠标、键盘乃至遥控器的交互时代,AR交互究竟该长成啥样,甚至都不得而知。

距离VR/AR的下一步发展,如今的设备与人们料想中的形态之间似乎总是缺点什么。 针对这个问题,Facebook曾对此做出了自己的分析,认为手环会是补足这一缺失的最佳选择,并最终成为下一代计算机平台的交互形态。 Facebook此前在手环的研究上主要落在触觉反馈,在收账脑机接口公司CTRL-labs后开始进行EMG手环的研究,并于近日公开了这款EMG手环的相关研究成果。  

Facebook EMG手环到底是什么?  

CTRL-Labs被Facebook收入后加入FRL,CTRL-Labs创始人托马斯·雷登担任FRL神经运动接口总监。他表示“正在尝试使用神经接口让用户使用周围神经系统的输出直接控制机器,尤其是让手和手指肌肉动起来的大脑外部神经。 EMG手环与之前陀螺君介绍过的脑机神经接口设备NextMind类似,都是通过对电信号的获取与转化进行设备的功能控制,而且都只会有选择性地针对经过训练后的信号,转化为数字命令。 第一步,EMG只提供一两个控制位,与“单击”类似,等效于点击按钮。用户可以进行拇指与食指的基本操作,比如通过捏、放操纵物体。

EMG Demo:控制虚拟物体(图源:Tech@facebook)

之后扩展至对虚拟物体进行远距离操作、在桌子等平面上打字等等。由于EMG可针对不同用户拥有个性化模型,能够进行适应与优化,因此EMG条件下打字会比现在使用键盘打字速度快得多。据了解,CTRL-labs团队已在个性化模型方面取得重要进展。

Neural Interfaces:  打字演示(图源:Tech@facebook)

单纯的手环可穿戴设备并不是完整的解决方案,就好像鼠标只是交互的一部分,因此AI也是EMG手环重要组成,AI会根据理解提供自适应界面,通过智能点击的方式让用户以低摩擦的方式执行高度上下文相关的动作。

比如用户在进行慢跑时,AR系统会根据您过去在该行为中存在听歌习惯,会在显示屏上显示该选项:“播放正在运行的播放列表?”,用户做简单的手势进行智能点击确认即可。 这种自适应界面无需用户在自然环境与设备之间进行注意力的转移。

除了低摩擦的手势输入与基于AI系统的自适应界面外,还需要一种闭合反馈回路的方法,也就是如何让系统与用户进行通信——通过触觉反馈。FRL认为,人类从出生开始便进行非常丰富的触觉反馈循环,我们已经演化为利用触觉信号来了解世界。 为了进行手环触觉研究,FRL还在构建了两种原型:Belloband与Tabsi。 Belloband柔软轻巧,手环一圈设有八个气动风箱,通过控制风箱内的气体产生不同类型的压力与振动,该模型属FRL早期研究;相较之下,Tabsi触觉反馈原理不则不同,它采用六个触觉致动器与一个较新颖的手腕挤压机制。

Tabsi(图源:Facebook)

FRL表示这些研究还处于早期阶段,但是很有前景。

那Facebook为何如此看好EMG手环,认为它将是下一代计算机平台的交互接口呢?  Facebook:EMG手环会是下一代计算机平台交互形态  Facebook首席科学家Abrash说:“为使AR真正普及,需要低摩擦、始终可用的技术。该技术必须直观易用,成为身体延展的一部分。这与今天的人机交互相距甚远,因此我们需要像恩格巴特一样,发明一种全新界面——一种将我们置于计算体验中心的界面。”

Abrash提到的恩格巴特,其团队于1960年代发明了鼠标,从根本上改善了人机交互。

因此,六年前在FRL Rearch(那时还叫Oculus Reseach)刚成立时Facebook便开始为AR眼镜设想理想的输入设备。 FRL Research聚集了一支由研究科学家,工程师,神经科学家等组成的高度跨学科的团队,由研究科学总监Sean Keller领导,全力解决AR交互问题以及期实现新计算形态的下一个重大范式转变。

在他们心目中,AR界面可在任何情况下使用,能将隐私、安全放在第一位遵循以人为本的原则,让用户能在自己控制下进行个性化的AR体验。 从形态上看,属于合适全天侯佩戴且续航时间足够长的可穿戴设备,又需要做到不引人注目,易于学习使用。 这样一个始终可用而且拥有超低摩擦的AR界面,据Abrash解释,需建立在两大技术支柱:超低摩擦的输入与功能强大拥有上下文感知的AI模型。

超低摩擦输入,意味着当用户需要采取行动时,从思想到行动的路径能做到尽可能短而且直观,比如手势、语音等等直至找到更为自然、轻松的方式来控制AR眼镜。该团队还对一系列神经输入选项进行了探索,其中基于手腕的肌电图(EMG)最有前景。 功能强大拥有上下文感知的AI模型意味着能在各种情况下对周围的环境、可能需要的信息或是想要做的事情进行深层次的推断。理想状态下,用户只需单击一次即可完成操作。 最终,他们选择手环作为全天候可穿戴设备。

为什么是手腕?其他能进行自然交互的输入设备,比如语音输入,直观但在公共领域并不私密,而且嘈杂的背景会对输入造成影响。像手机这样可放置在口袋的产品会在用户和环境间产生摩擦,也就是需要在现实与屏幕间进行切换。

从形态上看,手环形态的手表存在多年,可以适应无论是日常生活还是社交环境,且与手这个人类与世界发生交互最为直接的身体部位,能将手丰富的控制功能带入AR。

智能手表也已成为非常普遍的可穿戴设备,它能承载计算、电池、天线等器件用于支持大范围的传感器。对手环形态而言,唯一缺的是输入方式,而EMG就是其中较为理想的潜在解决方案。 EMG通过传感器将从手腕传输到手的神经信号转为数字命令,对设备的功能进行控制,EMG通过手腕信号能检测精度达到毫米级的手指运动,甚至能在手指进行真实运动前预测其运动。 但Facebook的手环并非一开始便采用EMG,真正采用EMG,是在2019年底收购脑机接口公司CTRL-labs之后,EMG手环实际是基于CTRL-labs的研究成果。

为什么是EMG手环?陀螺君认为CTRL-labs能更好地回答这个问题。

据CTRL-Labs创始人托马斯·雷登观察,从生理上来讲,人类之间所有的信息传递都是通过精细的运动控制来进行的,无论是肢体动作、面部表情,还是舌头、喉咙。

那么如果大脑与世界互动所要做的一切都涉及肌肉,为什么不使用运动系统更直接地与人脑和机器进行交互呢? 但与我们所见的绝对大多数直接通过某种电极,与大脑进行连接从皮质读取信号的脑机接口设备不同,CTRL-Labs选择对通过脊柱传输的大量信号进行检测,这是一种更易获得神经系统信息的方式。

通过电极直接从大脑获取头部神经信号,不同的人会产生不同的检测结果,因为在大脑皮层中,大脑中的神经元彼此相邻,在对不同事物发出信号时有时会造成分辨上的干扰。

而控制手部肌肉的神经元按区域进行划分,而且内部组织紧密,按CTRL-Labs的联合创始人帕特里克·凯福什的说法:“由于肌肉的布局,人与人之间具有一致性。”

帕特里克与CTRL-Labs手环(图源:CTRL-Labs)

帕特里克还表示:“最终,我们认为这已成为您与技术互动的通用控制器。” 而这个“通用控制器”连产品带团队率先被Facebook收入FRL,被作为AR接口继续研发。以网络世界的共通性,今天是AR接口,之后则有可能成为无论是AR、VR还是手机、电脑的通用型接口。 

总结 

Facebook在去年的Facebook Connect大会发布Infinite Office虚拟工作区,在演示中可以看到Facebook对未来的憧憬,随时随地办公。虚拟世界的作用并不再以游戏为主,而是向办公领域扩展,场景更加生活化,能与真实世界自如切换。

而手环形态成为手势识别的进化选择,将可能代替手柄,解放人类的双手,而基于人类本身的EMG以及各种触觉反馈将让虚拟场景更加真实。 对于手部交互的认可并不只有Facebook,苹果近日也曝光类似于手环形态的MR智能指环,配备SMI传感器的智能指环既可单独使用,也可与Apple Pencil等搭配使用;此外,前几日瑞士有团队也研发出名为TapID的手环,该手环可通过骨骼传导提供更真实的触觉反馈。

围绕手部追踪、触觉反馈的研究越来越丰富,这一新的交互模式越来越成为共识,手环或许真的有可能成为替代手柄,成为新一代计算机平台交互设备的标配。而当这一时刻来临时,手环的交互对象将不止步于VR、AR,而是所有计算机平台。 此时,计算机平台的交互模式将迎来真正的范式改变。