AI“黑匣子”将破解，Captum为机器学习带来可解释性

Facebook 宣布推出 Captum，一个用深度学习框架 PyTorch 解释神经网络决策的库。它允许研究人员和开发人员解释在多模态环境中做出的决策，包括文本、图像和视频的组合，并允许他们将结果与库中现有的模型进行比较。Captum 为机器学习带来的可解释性，将使 AI“黑匣子”得以破解。

Captum 将与 Captum Insights 一同发布。Captum Insights 是 Captum 结果的可视化表示工具，发布时将支持集成渐变，之后还会支持更多的模型。另外，开发人员还可以使用 Captum 来理解特性的重要性，或者深入研究神经网络来理解神经元和层属性。

今年夏天，OpenAI 首席科学家 Ilya Sutskever 在 VentureBeat2019 转换会议上说：“神经网络中的可解释性是一个非常重要的问题，因为当神经网络变得更聪明时，理解为什么它们会做出特定的预测就更为可取。”

Sutskever 还表示，希望看到能将可解释性工具应用于语言模型和其他领域的模型，并且可以使用模型的语言能力来解释并使用它的决策。

一直以来，由于缺乏理解深度学习做出决策的能力，“黑匣子”成了 AI 模型内在决策的隐喻。Captum 将帮助开发人员传达模型为什么做出特定决定，这无疑有益于人工智能研究和应用的监管，使之朝着更益于人类的方向发展。

【数字叙事 黎雾】