在今年的硅谷电影节“Infinity”上，MacInnes Scott 展示了数字“David Bowie”（大卫·鲍伊）。在积累了一定的 XR 开发经验之后，该公司近日展示了其最新产品“David Bowie is Unreal”的演示。从中我们看到，一名演员通过全身跟踪服和安装在他脸前的摄像头来控制实时数字鲍伊，并传送他的模拟。视频显示，MacInnes Scott 尚未达到 Nvidia 今年 3 月推出的电脑女性“塞壬”（Siren）的水准，但面向实时数字人的人工智能技术已经走出实验室。
数字实时化身中的 AI
在今年的计算机图形大会 Siggraph 上，视觉效果工作室 Digital Domain 的软件主管道格·罗伯（Doug Roble）谈到了数字人。该工作室于 1993 年由导演詹姆斯·卡梅隆创立，曾为《泰坦尼克号》、《本杰明·巴顿奇案》及漫威电影制作特效和计算机生成的图形。
之后，Digital Domain 为电影《复仇者联盟》开发了反派角色塔诺斯（Thanos）。数字塔诺斯由演员乔希·布罗林（Josh Brolin）扮演。为了将其特征实时传输给数字角色，Digital Domain 开发了一个 AI 系统：首先创建对布罗林所有可能的面部表情的扫描，然后将其作为 AI“假面舞会”的训练材料。AI 通过训练会从扫描中了解到布罗林的嘴唇是如何移动的，眼睛周围何时会形成皱纹。
拍摄过程通过脸前安装的摄像头捕捉 150 个点，这些要点能够指导 AI 将真实的模仿传达给数字角色，并使他微笑、哭泣或尖叫。不过，对于复杂的面部运动来说，150 个跟踪点还是太少了，但 AI 会弥补这一不足。之前的面部训练使它能够由 150 个跟踪点推导出大约 40000 个点，并用相对较少的技术记录布罗林的模拟。然后，“直接驱动”系统将“伪装”产生的 3D 数据实时传输给数字生物——在《复仇者联盟》中就是塔诺斯。
AI 穿越恐怖谷
Digital Domain 的 AI 甚至可在电影之外使用。2019 年 4 月，在道格·罗伯的 TED 演讲中，他和他的实时数字拷贝被并行显示在屏幕上。他装备了一套全身跟踪服、Manus 虚拟现实手套和一个面部摄像头，谈论他的双数字图（Double DigiDoug）的方法。
Digital Domain 技术的特点是输入可以方便地转换成多种角色，比如在 TED 的演讲中，数字图突然被一个侏儒取代。罗伯认为这一技术有广泛的应用：虚拟现实中的视频电话、数字演员或数字助理的人体外表。
在 Siggraph 大会上，罗伯重申他对数字化人类的应用持乐观态度，并指出目前 Deepfakes（深度伪造）所应用的 GAN 网络正试图使数字图更加真实。
人们意识到，实时化身必须依靠学习计算机而不是艺术家。据罗伯说，艺术家还不能完全克服数字人的接受差距（恐怖谷），而训练有素的机器甚至可能重现原始人的最小细节。（编译自 mixed.de）
【数字叙事 黎雾编译】
