J.K.罗琳在《哈利波特》中描述了一种神奇的图片,它与普通的图片相似,不过其中的人物是动画的,他们会挥手、微笑,有时还会遁形。得益于华盛顿大学研究人员的努力,普通的麻瓜也将能拥有这样的图片了。他们研发了一个名为 Photo Wake-Up 的人工智能系统,可以将单张照片中的中心角色动画化,使之从照片中走出来,做出很多动作,同时保持图像的其余部分不受影响。

研究人员在他们的论文《Photo Wake-Up: 单张照片中的 3D 人物动画》中描述了这一成果及其研发过程。

研究团队对从网上下载的 70 张不同的照片进行了测试,这些照片包括班克斯的作品和毕加索的绘画斯,以及蒂芬·库里、动漫人物 Goku 等。团队使用了一个叫做 SMPL 的深度学习程序,对主题进行 2D 裁剪,然后将 3D 骨架叠加到上面。据介绍,该团队使用了一种翘曲算法来确保切口和骨架对齐。

另外,他们的算法还能检测出受试者的视线方向和头部的角度。更重要的是,为了确保最终的动画是逼真和精确的,团队使用了一个专有的用户界面来纠正任何可能的错误,并帮助形成动画的纹理。然后,算法将主题从 2D 图像中分离出来,同时填充剩余的空间,并对主题进行动画处理。

研究人员说:“我们的主要技术贡献是构建一个与单张照片中的轮廓相匹配的可动画化 3D 模型的方法。”他们指出,最终的动画可以被视为视频,也可以在普通显示器、AR 和 VR 中进行交互。

Photo Wake-Up 能创造非常整洁的效果,但也有缺点。研究人员在论文中指出,他们的方法仍然不能对阴影和反射进行动画处理,虽然它可以处理一些像双臂交叉这样的自闭,但它不能处理其他一些自闭,比如受试者双腿交叉坐着。研究人员还指出,“由于含糊不清”,SMPL 模型可能会产生错误的动画姿势。

尽管如此,目前这绝对是自动化创建 3D 动画中较酷的模型之一,它暗示着构建一个更加动态化的在线空间的可能性。“我们认为这种方法不仅为人们提供了欣赏图片和与照片互动的新方式,而且还开辟了从单一图像重建虚拟化身的途径,同时从单张照片中洞察人类建模的艺术状态。”研究人员在论文中写道。

【数字叙事 Lighting】