想跟《低俗小说》中的约翰·特拉沃尔塔、乌玛·瑟曼一起跳舞吗?AR 应用 Volume 有一天会帮你实现这一梦想。

Volume 是由 Or Fleisher 和 Shirin Anlen 所做的一种新的体验,它能识别电影中的 2D 图像,并将它们投射到 3D 空间中。例如《低俗小说》,它可以切断角色周围的场景,让他们在用户的客厅里跳舞。

目前,该应用处于早期阶段,效果还不是很理想,但前景是可期待和令人兴奋的。

“我们的《低俗小说》实验让用户可以在现实中使用苹果的 ARKit 框架,进入增强现实中的电影场景。” Fleisher 解释说,“这个实验是我们目前正在进行的为数不多的实验之一,它展示了从 2D 图像中重建 3D 场景的力量。能够将档案和静态影像重建到 3D 环境的可能性是开发这些体验的主要动机之一。”

该系统使用机器学习从单个图像的深度来预测结果,并使用卷积神经网络来对图像进行深度对应值的过滤。

目前,Volume 正在开发为端到端的 web 应用,此后将支持 AR 和 VR 平台。“我们的整个机器学习基础设施都是基于谷歌的人工智能工具 Tensorflow。” Fleisher 说,“……我们的方法更受电影和视觉叙事的启发,而不是重建三维世界的数学逻辑。我们认为这种方法对这个工具更有益,并带来一种新的创造性的方式来理解该领域的挑战。”