侵权投诉
技术:
CPU/GPU 传感/识别 显示/微投影 追踪/定位 电池/电源管理/驱动 声学/光学 通信 OS/软件/算法 云服务/大数据 材料 其它
终端:
头盔 眼镜/盒子 一体机 配件 服务 渠道
应用:
游戏 影视/动漫 娱乐 医疗 军事 媒体 旅游 购物/餐饮 教育 工业/农业 家居 设计 其它
订阅
纠错
加入自媒体

迪士尼研究院用深度学习打造语音动画 让VR社交更真实

2017-08-18 00:57
来源: 镁客网

最近,迪士尼研究院联合东安格利亚大学、加利福尼亚理工大学和卡内基梅隆大学的研究人员,发布了一篇题为“A Deep Learning Approach for Generalized Speech Animation”的论文,阐述了通过深度学习来实现程序语音动画的方法。该方法采样完人们的录音后,即可自动生成与语音相匹配的口型动画。

据了解,这是一个借助深度学习方法进行训练的系统,它能够分析来自任何扬声器的音频,学习从语音标签输入序列到口部运动的任意非线性映射,然后系统会自动生成相应的口形以及符合语音的面部模型。

如果应用到虚拟现实中,可以让虚拟的人物形象在说话的时候保持和现实中用户相同的口型变化,让VR社交应用的VR形象更加逼真。而且对于虚拟化身语音动画来说,虽然口型追踪是比较准确的方法,但是在这种口型追踪硬件普及之前,迪士尼研究院的程序语音动画是一个行之有效的好方式。

另外,在一些VR社交应用中也有通过系统实现语音动画的方式,主要也是基于音频来制作虚拟形象的口型动画,而基于深度学习的系统可以提供更高的准确性以及细节度。

声明: 本文系OFweek根据授权转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号