使用3D扫描和AI建模可创建近似真人的数字化身

使用 3D 扫描和 AI 建模可创建几乎与真人一样的数字化身。Facebook 研究人员在一篇题为《音频和视线驱动的编解码化身动画》(Audio-and Gaze-driven Facial Animation of Codec Avatars)的论文中描述了动画技术上的这一可能的突破,它可以比预期更快地将化身带到 VR 眼镜中。

自 2019 年以来,Facebook 一直在就照片级真实感编解码 VR 化身进行深入研究。在最近的研究中,研究人员发现人工智能仅通过音频和眼睛跟踪就能估计出面部动画的效果。他们的目标是将编解码化身与标准的 VR 眼镜一起运行,这有望将眼球追踪技术植入下一代 VR 眼镜,如 Oculus Half Dome。用于录音的麦克风目前已经配置在当前设备中。

在实验中,研究人员从三张 3D 扫描的脸上收集了五个小时的高质量视频材料。受试者最大程度地利用面部肌肉进行中性的和富有表情的讲话。

利用这些数据,研究人员训练了一个 AI 模型,该模型被配置为同时评估音频和眼睛跟踪数据,将面部划分为相应的区域(眼睛、鼻子、嘴巴等),并动态确定编解码人脸的哪个部分由哪些数据设置动画。

与传感器直接记录的模拟跟踪相比,使用 AI 效果更好。从演示看,偏差至少在伦理上处在可以接受的范围内。

研究人员在论文的最后写道:“我们的研究表明,可以仅借助未处理的音频数据来对面部表情进行动画处理。”而且,嘴唇动画在音频基础上的效果比在将摄像头对准嘴和眼睛的系统上效果更好。研究人员写道,未来,基于音频和视频的动画过程可能会混合在一起。

目前还不清楚基于 AI 的编解码人脸的建模和动画在多大程度上可以通用化。在面部动画中,通过少量镜头学习对预训练的 AI 进行改进是可以想象的,Deepfake 技术可能有助于化身面部交换。但无论如何,还需要进一步的研究。【数字叙事 黎雾】

有问题和想法?与数字诗人讨论、交流,以获得更多的信息、意见。

赞赏
黎雾
黎雾
技术一直以来都是艺术不可或缺的因素
本文系数字叙事原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

3 评论

  1. […] Meta 展示了逼真的化身,这是马克·扎克伯格正在领导创建的 VR 元宇宙的一项重要技术。但元宇宙评论家、Niantic 首席执行官约翰·汉克(John Hanke)表示,即使有朝一日每个人都能用上Codec Avatars,也并不能改变一个事实,即实际共存比虚拟现实的临场感具有根本优势。他认为,试图用基于虚拟空间和化身技术的数字互动取代现实的人际交互是反人性的。 […]

订阅

受欢迎的

相关文章
Related