Adobe用AI对视频对象、场景、属性和动作进行分类

用户生成内容(UGC)被称为是营销人员的天赐之物。根据 Adweek 的数据,64%的社交媒体用户在做出购物决定前会查看 UGC,而 UGC 视频的浏览量是品牌视频的 10 倍。然而,UGC 存在一个问题:营销人员常常需要花费很多时间来筛选提交的内容,以找到符合给定主题的相关、可重定向的视频片段。Adobe 今天推出的视频智能标记,利用人工智能对视频对象、场景、属性和动作进行分类,可极大地加速这一过程。

视频智能标记是 Adobe 内容管理解决方案 Experience Manager (AEM)的一项功能,由 Adobe Research 和 Adobe 搜索团队使用 Adobe 的 Sensei 机器学习平台构建,它能为每个剪辑生成两组标记,其中一个可描述大约 150,000 类对象、场景和属性,第二个对应于诸如饮酒、跑步和慢跑之类的动作。

作为视频基础技术的智能标签建立在 AEM 的图像自动标记器的基础上,该标记器针对 Adobe Stock 的图像集合进行训练。系统摄取目标视频中的单个帧来产生第一组标签。第二组是标记算法的产物,该算法经过训练,用于管理带有附带标签的“丰富动作”视频,这些标签是从 Adobe 内部视频数据集的元数据中提取出来的。它应用于视频中的多个帧,并将结果聚合在一起,以生成最终的动作标记集。

每个标记都有一个从 0 到 100 的分数,这是对系统预测准确度的估计。AEM 客户可以标记系统不正确的标签,这将从搜索索引中删除这些标签,并生成分离的记录。错误标记资产的日志作为反馈发送给调节器。

据 AEM 产品经理圣地亚哥·庞博(Santiago Pombo)介绍,智能视频标记新颖的地方在于,它使用户能够基于资产内容创建搜索规则和过滤器,而不仅仅是手动标签和描述。此外,它允许为特定标记或标记集指定最小置信度阈值,从而确保相关资产选择的准确性。

设计人工智能系统并非轻而易举。AEM 客户一般平均每秒执行 10 次搜索查询,这对延迟造成了很大的挑战。Adobe 的研究团队不得不设计一个注释管道来处理大量的用户生成的内容。结果相当理想,视频智能标签可以在 4 秒或更短的时间内处理视频。

视频智能标记目前已向对企业用例感兴趣的精选参与者群体提供,Adobe 未来的工作将集中在扩大该系统能够识别的视频量上。当前的迭代以 60 秒的长度对剪辑进行分类。“当我们在权衡利弊的时候,我们认为我们要优化 80%的用例……但是我认为下一步是……把它增加到 10 分钟。”庞博说。

【数字叙事 黎雾】

有问题和想法?与数字诗人讨论、交流,以获得更多的信息、意见。

赞赏
黎雾
黎雾
技术一直以来都是艺术不可或缺的因素
本文系数字叙事原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

订阅

受欢迎的

相关文章
Related