人工智能在艺术构图上的应用正在迅速发展。美国加州大学伯克利分校、英国牛津大学和 Adobe Research 的研究人员将这一应用推了一个的高度——由用户草图来建议对象形状并提供完成作品的预览。

麻省理工学院-IBM 沃森人工智能实验室的科学家们曾详细介绍了一种工具,可以让用户上传任何照片,然后在 AI 的辅助下编辑建筑物、植物群和固定装置的外观。今年 3 月,Nvidia 推出了GauGAN,一种生成式的对位人 AI 统,可以让用户在 AI 的帮助下更快速地绘制自然风光图片。而加州大学伯克利分校、牛津大学和 Adobe Research 的研究人员创建的 AI 模型,使用交互式图像转换方法,更容易获得逼真的渲染效果。

该研究团队新近在预印版服务器 Arxiv.org 上发表的论文《交互式素描&填充:多类素描到图像的转换》中描述了他们的研究成果。

“图像转换模型在获取抽象输入(如边缘图或语义分割图)并将其转换成真实图像方面已经有了显著的成效,”论文写道。“结合用户界面,用户可以快速在目标域中创建图像。然而,对许多人来说,在没有任何反馈的情况下完成一幅素描可能会很困难,因为未经训练的从业者通常很难徒手画出物体及其部件的精确比例、3D 形状和透视图。因此,使用当前的交互式图像转换方法,通过编辑现有图像,而不是从头创建图像,更容易获得逼真的图像。”

该团队使用一个多部分系统解决了图像生成问题,其中包括由用户草图来建议对象形状并提供完成作品的预览。他们设计了形状和外观完成模块,以根据草图来更新建议的形状,并采用 GAN(一种神经网络,由生成样本的生成器和鉴别器组成,鉴别器试图区分生成的样本和实际样本),以帮助增强完整图像的准确性。

为了评估该系统的可靠性,研究人员采用了两个开源数据集——edges2shoes 和 celebat – hq——来训练 AI 绘制物体的渲染图。他们用一个单独的 AI 模型简化了物体的边缘绘制,使其更接近人类的笔画。研究人员表示,在所有测试中,系统能够在大多数时间生成正确类别的图像。他们认为这是朝着完全端到端系统迈出的令人鼓舞的一步。

“交互式对象生成的两阶段方法,以形状完成中介的概念为中心……使训练更加稳定,还允许我们向用户提供粗糙的几何反馈,用户可以根据自己的意愿选择集成这些反馈。”论文写道。

该研究不是 Adobe 首次涉足人工智能辅助艺术创作。在今年 6 月发表的一篇论文中,Adobe Research 和马里兰大学的研究人员描述了一种新型机器学习系统——LPaintB——它可以在不到一分钟的时间内复制出达芬奇、梵高和维梅尔风格的手绘油画。

【数字叙事 Lighting】