人工智能已可用来将历史影像——比如阿波罗登月和 1895 年卢米埃尔兄弟的电影《火车到站》——转换成高分辨率、高帧率的视频,看起来就像是用现代设备拍摄的。罗切斯特大学、东北大学和普渡大学研究人员的研究又进了一步:可以从低帧率、低分辨率的视频中生成高分辨率慢动作视频。

研究人员说,他们构建的框架——时空视频超分辨率(STVSR)——不仅在输出质量上比现有模型更好,而且速度上要快三倍。

这一研究在某些方面刷新了 Nvidia 在 2018 年发表的研究成果,该成果描述了一种可以将慢动作应用于任何视频的人工智能模型——无论视频的帧率如何。类似的高分辨率技术也被应用于视频游戏领域。去年,《最终幻想》的粉丝们使用了一款名为“AI Gigapixel”的软件来提高《最终幻想 7》背景的分辨率。

据研究人员发布的预印论文描述,STVSR 同时学习时间插值(即,在原始帧之间合成不存在的中间视频帧)和空间超分辨率(从对应的参考帧及其相邻支持帧中重建高分辨率帧)。此外,得益于伴随的卷积长短期记忆模型,它能够利用视频上下文和时间对齐来从聚合特征中重建帧。

【数字叙事 Lighting】