谷歌人工智能研究员兼钢琴演奏家巴勃罗·卡斯特罗(Pablo Castro)正在开发一种可深度生成音乐的人工智能模型,让音乐家与之合作即兴创作音乐,以发掘人类即兴音乐的特点,进而打破人类创造性的界限。

这个 AI 系统名为 ML-Jam。据 Venturebeat 的报道,它来自 Google Brain 的 Magenta 项目,该项目旨在用机器学习来驱动音乐创作。ML-Jam 使用了 Magenta 的 DrumsRNN 和 MelodyRNN,将限制在可开箱即用的预制模型上。

卡斯特罗对 ML-Jam 进行了很长时间的训练,希望它能帮助他以一种创造性的方式来驾驭即兴演奏过程中的一些不舒服的区域,而这有时会给他带来一种新的音乐表达方式。

卡斯特罗在 PSC Trio 演奏钢琴,这是一个爵士乐队,在渥太华、蒙特利尔及加拿大其他地方演出。

“我想做的是保持我的节奏,因为这体现我的演奏方式,但这是用模型产生的音符代替我的音符,所以是一种混合即兴创作。”他说。“从我的经验中,我发现这通常是有节奏的,不过不是我自己想出来的一种有机地出现在我身上的节奏。但它最终往往会成为我感兴趣的东西。”

在上周于北卡罗来纳州夏洛特举行的计算创新国际会议(ICCC)上,卡斯特罗介绍了 ML-Jam 及其开放源码 Python 代码。

据他所作的介绍,ML-Jam 的运作从一种确定性鼓槽开始。有人演奏低音提琴,并添加其他乐器,然后将凹槽发送到 DrumsRNN,以生成一个独特的模型。然后,一个控制节奏模型的音乐家用 MelodyRNN 创作的旋律即兴创作一个音乐短语。

使用 Python 的多线程使 ML-Jam 的推理在一个单独的线程中运行,允许生成模型,然后在演出期间实时播放。由于生成一个模型可能会带来不可预测的时间,所以音乐家必须在舞台上使用他们未现场听到的声音。

卡斯特罗曾尝试和他的爵士乐三人组与 ML-Jam 一起演奏,但他发现他们之间缺乏默契。于是,他计划将 AI 融入自己个人的即兴音乐创作。他的下一步是使用 ML-Jam 或衍生系统为现场表演提供独特的内容。

他开始做的一件事本质上是一场个人秀。过程中,ML-Jam 变得更加有机,让他很感兴趣的是,它迫使他以一种非常不同于平常的方式来处理作曲。

“我必须考虑它是否适用于我所使用的系统类型。它像鼓一样使用一个循环,所以我必须有一些适合循环的东西,不会太重复,也不会很无聊,但仍然很适合这个想法……,所以每当我完成它的时候,无论从中得到什么,如果我没有对我自己施加这些限制,那么 100%与我想出的任何东西都会非常不同。”

为音乐创作制作的其他杰出的人工智能模型包括 Magenta 的钢琴精灵。上个月,Flaming Lips 在 I/O 的舞台上,使用了一个名为 Fruit Genie 的钢琴精灵版本。

卡斯特罗与 AI 的合作演出还会结合其他新颖的音乐模式——比如 Magenta 的音乐转换器,它可以生成钢琴旋律,以及 OpenAI 的 MuseNet——可用来激发更多的即兴创作。今年 3 月,谷歌推出了一款由音乐转换器驱动的工具,它可以从一个人选择的键开始,然后生成听起来巴赫风格的音乐。

在卡斯特罗看来,音乐生成模型的全部意义在于探索人机合作的空间,因此这些合成音乐体现的是合作。

“我想做的是让每首歌都探索一种不同类型的机器学习模型,它们不一定都是产生音乐的模型。我们的想法是看看如何将不同的机器学习技术整合到作曲或即兴创作中,以一种产生音乐的方式,如果你没有尝试将这些机器学习技术整合进来,就不会产生这样的音乐。”

卡斯特罗将他的模型与其他一些创意人员使用的模型区分开来,因为他的模型必须接受人为输入才能运行。对他来说,人的目的——由人的历史和人性塑造——构成艺术的定义。

“对我来说,问题是’艺术与否?’真的归结为’目的从何而来?’”他说。“我认为目前还没有任何模式有任何目的。这是我把人放进去的原因。”

【数字叙事 Lighting 编译】