人工智能决策的可解释性可用来对这一领域的研究和应用进行有效的监管，使之朝着更益于人类的方向发展。为此，Facebook 不久前推出了一个用深度学习框架 PyTorch 解释神经网络决策的库Captum，以帮助研究人员和开发人员解释 AI 在多模态环境中做出的决策。为了使 AI 的决策更加透明，谷歌和斯坦福大学的一个团队最近探索了一种新的机器学习模型——基于概念的自动解释(ACE)——能自动提取“对人类有意义”的视觉概念。
该研究团队在论文《基于概念的自动解释》中详细介绍他们的研究及其成果。论文写道，大多数机器学习解释方法会改变单个特征（例如像素、超级像素、单词向量），以适应目标模型的重要性，而这无疑是一种不完美的方法，因为它很容易受到哪怕是最小的输入变化的影响。
相比之下，ACE 识别高级概念的方法是在提取概念并确定每个概念的重要性之前，将一个训练好的分类器和一个类中的一组图像作为输入来识别更高级别的概念。具体来说，ACE 将具有多种分辨率的图像进行分割，以捕获纹理、对象部分和对象的多个级别，然后再将相似的片段分组为同一概念的示例并返回最重要的概念。
为了测试 ACE 的可靠性，该团队使用了谷歌的 Inception-V3 图像分类器模型，该模型以流行的 ImageNet 数据集为训练对象，并从 1000 个类中选择 100 个类的子集来应用 ACE。他们指出，被标记为重要的概念往往遵循人类的直觉——例如，在检测警车时，执法部门的标识比地面上的沥青更重要。然而，情况并不总是如此。在一个不太明显的例子中，预测篮球形象最重要的概念是球员的球衣。
研究人员承认，ACE 绝非完美——它还很难提取出异常复杂的有意义的概念。但他们相信，它对模型的学习相关性提供的洞见，应该能促进机器学习的更安全使用。
“我们通过人类实验验证了其意义和一致性，并进一步证实了它们确实携带着显著的预测信号……自动将输入特性分组到高级概念中；有意义的概念作为连贯的例子出现，对于正确预测它们所呈现的图像非常重要，”研究人员在论文中写道。“所发现的概念揭示了模型所了解到的潜在的惊人相关性。” （编译自 venturebeat.com）
【数字叙事 黎雾】
