Facebook 宣布推出 Captum,一个用深度学习框架 PyTorch 解释神经网络决策的库。它允许研究人员和开发人员解释在多模态环境中做出的决策,包括文本、图像和视频的组合,并允许他们将结果与库中现有的模型进行比较。Captum 为机器学习带来的可解释性,将使 AI“黑匣子”得以破解。

Captum 将与 Captum Insights 一同发布。Captum Insights 是 Captum 结果的可视化表示工具,发布时将支持集成渐变,之后还会支持更多的模型。另外,开发人员还可以使用 Captum 来理解特性的重要性,或者深入研究神经网络来理解神经元和层属性。

今年夏天,OpenAI 首席科学家 Ilya Sutskever 在 VentureBeat2019 转换会议上说:“神经网络中的可解释性是一个非常重要的问题,因为当神经网络变得更聪明时,理解为什么它们会做出特定的预测就更为可取。”

Sutskever 还表示,希望看到能将可解释性工具应用于语言模型和其他领域的模型,并且可以使用模型的语言能力来解释并使用它的决策。

一直以来,由于缺乏理解深度学习做出决策的能力,“黑匣子”成了 AI 模型内在决策的隐喻。Captum 将帮助开发人员传达模型为什么做出特定决定,这无疑有益于人工智能研究和应用的监管,使之朝着更益于人类的方向发展。

【数字叙事 黎雾】

1条评论