2013 年,演员保罗·沃克在电影《速度与激情 7》的拍摄中途死于车祸。环球公司面临着一个艰难的决定:停止生产利润丰厚的电影系列,除非找到一种继续下去的方法。他们能以数字方式重现保罗的脸吗?

他们找到了计算机科学家郝利,他目前是南加州大学的教授,同时也是专注于创建 3D 化身的初创公司 Pinscreen 的首席执行官。他在工业光魔公司为 CGI 设计了新的实时面部捕捉方法。通过与郝及他们内部的视觉效果专家合作,他们可以使用沃克的兄弟作为替身来继续拍摄这部电影。兄弟俩在身体上是相似的,因此他们用数码技术重新创造了保罗的脸,并将其与他的兄弟们完美地匹配。

它就像一场盛宴,后来成为史上票房第六高的电影。

郝由此确立了一个新的、以好莱坞为中心的目标,他想在南加州大学的研究中探索如何加速和扩大数字人类的创造?

他的方法是将深度学习应用于计算机图形学,使用 3D 扫描和照片作为训练数据。“我们的目标之一是:我们怎样才能让电影看起来更好?”郝先生说。但随着时间的推移,越来越明显的是,在虚拟现实和增强现实的新兴世界中,将会有更多有趣的应用,它们需要 3D 模型来进行沉浸式叙事、交流和构建社交媒体。他和他在 Pinscreen 的同事们开始研究光致人类,并将这些技术扩展到智能手机上。

“现在我们可以通过算法来自动完成任务,而这些工作曾经让 VFX(视觉效果)部门繁忙不堪。在过去的十年里,过多的计算机处理浪费了人们大量的时间,现在您可以用您的手机来做,而开发正在以指数级的速度进行。”

随着 Facebook 和 iPhone 收集的数据越来越多,人工智能专家开始开发深度神经网络,使之学习如何做一些复杂的事情,比如把一个人的旧照片变成一个引人注目的 3D 模型。给予足够的数据、处理能力和时间,您可以编写一个程序,这个程序受人类大脑构造方式的启发,可以学习如何从 2D 图片中准确识别出人脸不同角度的外观,然后建立模型。

我本能地喜欢这样的想法,即我们可以创造出历史人物的 3D 版本,因为它开启了一个充满机会的世界,让观众以新的、令人兴奋的方式参与历史、科学和考古。

几年前,纪录片行业曾有一场辩论,主题是黑白电影是否可以接受,因为那是在修改信息来源,而这样做是对纪录片的本质的挑战。收视率的提高意味着高卢人赢得了这场争论。尽管如此,还是有争议的,彼得·杰克逊使用了在《指环王》中开发的好莱坞技术,从档案资源中创建了第一次世界大战的 2D 和 3D 色彩演绎。他在 1 月 18 日 BBC《今日秀》节目中对这种做法进行了辩护:“他们并不是以黑白两色的方式描绘战争。那只是真实地反映了士兵们所看到的东西。”

谁拥有对我们的描述,这很重要

但是,完全数字化人类将把我们置于更重要的关头。一旦您将某物扫描到电脑里,它就变成了一种数字资产,您可以用各种方式来操作。但是,如果这个来源是人类,那又意味着什么呢?

我想知道一个纪录片创造者对数字化人类的想法。加博·阿罗拉(Gabo Arora)在《最后的告别》(The Last Goodbye)中与一位大屠杀幸存者合作,在那里,对真实性的需求是最重要的,因为某些边缘团体声称大屠杀从未发生过。

“当第二波虚拟现实开始出现时,我们开始为联合国儿童基金会制作电影,使用 360 度全景视频。您会听到人们说,您可以把相机放在那里,向人们展示它是什么样子的。但我从来没有真正相信过这一点,”阿罗拉说。“我确实认识到,对于未来的几代人来说,有必要提供证词来提供第一人称叙述——我就在那里,事情就发生在我身上——现在我们有能力带您去那里,去见那个人。我想把它付诸实践,与 Shoah 基金会一起,做《最后的告别》,回到一个集中营,和一个大屠杀的幸存者,他可以告诉我们他和他的家人在那里发生了什么。但是对于我们做的事情,有些人可能会说:‘您操纵了它?’”

《最后的告别》是一部房间规模的 VR 纪录片,在这部纪录片中,您可以与大屠杀幸存者 Pinchas Gutter 一起,去 Majdanek 集中营,他会成为您的向导,告诉您他和他的家人在那里发生了什么。Pinchas 是 3D 的,使用体积捕捉技术创建,这是一种将人类数字化的过程,利用一系列摄像机捕捉对他的采访,并将其作为一种可以导入虚拟现实的数字资产。您可以通过摄影测量访问营地的区域——数千张在营地拍摄的照片被缝合在一起,创造出一个逼真的 3D 环境,您可以在里面走动。当然,纪录片从来没有如此真实。

“一开始,我建议我们在 Pinchas 的家乡多伦多,对他进行体积捕捉。但是 Shoah 基金会拒绝了。对他们来说,这是非常重要的,因为它发生在 Majdanek,这是经过核实和认证的,并保存在记录中。他们要求尽可能地真实。但是,尽管如此,我们还是制作了一部纪录片,其中有一些技巧:我们绘制了特定的灯光、博物馆的标志和声音;我们用颜色来掩饰摄影测量的丑陋;我们使用了淡入淡出和音乐。”阿罗拉说。

“照片从一开始就是撒谎的,”他说,“埃罗尔·莫里斯精彩地探讨过这个问题。“在接受美国国家公共广播电台采访时,莫里斯反思了摄影记者罗杰·芬顿在同一地点拍摄的克里米亚战争的两张照片。其中一张照片上比另一张有更多的炮弹。

莫里斯质疑原始照片是否被操纵以显得更有戏剧性。“我们都知道表演是摄影的一大禁忌。我认为这是一种幻想,我们可以通过不移动任何东西,不接触任何东西,不以任何方式与我们拍摄的场景进行互动,从而创造一些摄影的真相。”

在亚伯拉罕·林肯成为第一个被拍照的美国总统之后的第一百五十年,人们发现他的头像被转换到了他最著名的肖像中。

“我们最需要的是批判性思维,”阿罗拉说。“苏珊·桑塔格说,‘消极的感觉是无趣的。’在沉浸式媒体中,我们可以创造出任何非被动的作品。没有想象力,就没有同情心。我们能用艺术和故事叙述来创建什么?第一次世界大战是通过摄影,越战通过电视,叙利亚战争通过 YouTube,黑人生活问题通过 Facebook Live。VR 会覆盖下一场冲突吗?”

蒙特利尔机构 Dpt 通过数字化人类将卡里姆·本·赫利法的《敌人》中的冲突带到我们面前。他们创建了一个增强现实应用程序,让我可以把来自对立双方的人引入我的客厅:吉拉德,一个来自以色列国防军的士兵站就站在我的休息室里。他是三维的,和我一样大,而且似乎跟随我的眼神。当我走向他的时候,我听到他在谈论他认为敌人是谁。我在他身后走来走去。在房间的另一边我看到了阿布哈立德,一个巴勒斯坦战士。

“邀请这些人进入您的个人空间效果是非常强大的,”Dpt 的创意总监尼古拉斯罗伊说。“这真的把这场冲突带到了您身边,这对我们很重要。AR 的独特之处在于它将自己写入到您的环境中。在过了很久之后,您仍然记得这些人在那里徘徊。不过,它可能会被滥用,您可以把它们放在一个完全不合适的地方,然后拍一张照片。据我所知,没有人这么做过。但我们没有办法阻止它。”

当现实和历史人物都变成傀儡

与此同时,郝的研究也突飞突飞。他发现了如何让神经网络观察人们说话的镜头,并使用 3D 跟踪来理解他们的面部表情。“当我把它映射到我的脸上时,我可以驱动他们的面部表情。当我合成他,我就变成了他们。”

他向我讲述了由华盛顿大学的苏瓦·贾纳克恩倡导的语音驱动的面部操控技术。一个神经网络分析了几个小时的视频片段(比如奥巴马),目的是为了让音频输入与嘴形和纹理相匹配,最终让您把文字放进别人的嘴里。

“您可以回家和您死去的母亲谈谈——因为这项技术是允许的,”郝解释道,这让我感到很不舒服。这是对死者的尊敬吗?现在我本能地说“不”——但是,谁知道呢,也许十年后就会成为新的常态。

在我看来,这在使用在线人才方面是相当自由的。一个电视节目主持人可以被扫描成数字资产,然后您可以用多种语言使用同一个人。实际上,您可以用无数次——您不再需要真正的人了。我们可以签一份紧凑的合同,在他们年轻的时候抓住他们,扫描他们一次,让他们终身——甚至更长时间为我们服务。

更重要的是,您把所有这些都放在一起,您可以把现实和历史中人物变成傀儡,让他们说一些他们从未说过的话,而且看起来是真实的。

郝教授认识到这带来的一些伦理问题。“不利的一面是,我可以在我的 iPhone 上生成一个逼真的数字特朗普——与真人难以区分……”

虽然目前仍然有点粗糙,但技术正在以极高的速度发展——很快它就会看起来完美了。

“要教育人们——告诉他们什么是可以做的——这样我们就可以制定计划,并创造一个更安全的环境。” 郝教授说,“拥有一个系统和一个框架将是最好的方法。也许我们需要开发一种用于验证的区块链机制。”

Nonny de laPeña 是一名记者,她在她的基因定义工作中开创地使用了数字人类。她认为这个问题更广泛、更根本:公众和包括新闻媒体在内的主要机构之间的信任崩溃。“我们需要重建信任,以揭穿虚假新闻。制度上有缺陷。现在是制定一个新的全球标准的时候了。”她加入了奈特基金会的信托、媒体和民主新委员会,以帮助定义造假时代新闻业的未来。

这是一个伟大的开始。我们迫切需要复杂的工具来验证什么是值得信任的。目前,允许造假的技术比任何能够检测到它的技术都领先 10 步。在错误的人手中,事情很快就会失控。我们从痛苦的经验中知道,有非常复杂的代理人,从公司到国家,会寻找任何手段来操纵我们。

纪录片制作者使用这种技术的机会非常令人兴奋,而且这种改变可能会像从收音机到电视一样大。但它们引导我们稳步进入一个不那么真实的世界,一个我们将难以辨认的世界。一旦一个人成为了数字资产,您就可以很容易地操纵他们。我们在辨识假新闻上已经有问题。我们将如何应对虚假的历史?

我们需要在媒体上重新定义人类价值,并对纪录片作出新的定义。我们正面临着未曾面临过的最严峻的新闻和纪录片的挑战之一是:当我们不能辨别什么是虚构的什么是真实存在时,我们又如何重新定义我们的技艺呢?

原作:Mark Atkin
编译:Lighting