AI模型SynVAE可由绘画来创作音乐

还能根据产生的音乐对原始绘画进行重构

0

阿姆斯特丹大学的研究人员创建了一个 AI 模型,可以由绘画来生成旋律。他们的研究似乎是在验证叔本华的想象。叔本华说,世界是意志的表象,是音乐的梦幻。按照他的说法,每一幅绘画背后都是音乐。

这一 AI 模型名为“综合变奏自动编码器”(SynVAE),由两个神经网络构成,一个将图像转换为矢量,并为矢量创建旋律,另一个尝试根据产生的音乐对原始绘画进行重构。从测试的情况看,在大约 70%的案例中,音乐与绘画的情绪相对应,后者是 AI 的原始资料。

在视觉形象与音乐的转换方面,这不是第一个项目。提供交感体验的音乐平台 Reify 曾在几年前推出一个名为Stylus的应用,可分析一首歌的结构、旋律、振幅等,然后将这些数据与高度、重量等关联起来,设计、制作出雕塑。这种雕塑不仅可以摆放观摩,还可以用来播放音乐。

Reify 的应用是娱乐性的,而阿姆斯特丹大学的研究要严肃得多。研究人员希望像 SynVAE 这样的 AI 能够提供超越感官的艺术访问,例如为盲人创造替代访问。他们还希望在未来将其方法应用于进一步的感觉传递。

【数字叙事 Lighting】