机器学习的可解释性

本文为团队完成的首篇综述，参考了GilpinLeilaniH.,etal.发表在DSAA上的文章[0]。

一、机器学习的可解释性研究概述

随着机器学习模型在人们日常生活中的许多场景下扮演着越来越重要的角色，模型的「可解释性」成为了决定用户是否能够「信任」这些模型的关键因素（尤其是当我们需要机器为关系到人类生命健康、财产安全等重要任务给出预测和决策结果时）。在本章，我们将从机器学习可解释性的定义、研究意义、分类方法个方面对这一话题展开讨论。

1.1

何为可解释性

对于机器学习的用户而言，模型的可解释性是一种较为主观的性质，我们无法通过严谨的数学表达方法形式化定义可解释性。通常，我们可以认为机器学习的可解释性刻画了「人类对模型决策或预测结果的理解程度」，即用户可以更容易地理解解释性较高的模型做出的决策和预测。

从哲学的角度来说，为了理解何为机器学习的可解释性，我们需要回答以下几个问题：首先，我们应该如何定义对事务的「解释」，怎样的解释才足够好？许多学者认为，要判断一个解释是否足够好，取决于这个解释需要回答的问题是什么。对于机器学习任务而言，我们最感兴趣的两类问题是「为什么会得到该结果」和「为什么结果应该是这样」。而理想状态下，如果我们能够通过溯因推理的方式恢复出模型计算出输出结果的过程，就可以实现较强的模型解释性。

实际上，我们可以从「可解释性」和「完整性」这两个方面来衡量一种解释是否合理。「可解释性」旨在通过一种人类能够理解的方式描述系统的内部结构，它与人类的认知、知识和偏见息息相关；而「完整性」旨在通过一种精确的方式来描述系统的各个操作步骤（例如，剖析深度学习网络中的数学操作和参数）。然而，不幸的是，我们很难同时实现很强的「可解释性」和「完整性」，这是因为精确的解释术语往往对于人们来说晦涩难懂。同时，仅仅使用人类能够理解的方式进行解释由往往会引入人类认知上的偏见。

此外，我们还可以从更宏大的角度理解「可解释性人工智能」，将其作为一个「人与智能体的交互」问题。如图1所示，人与智能体的交互涉及人工智能、社会科学、人机交互等领域。

1.2

为什么需要可解释性

在当下的深度学习浪潮中，许多新发表的工作都声称自己可以在目标任务上取得良好的性能。尽管如此，用户在诸如医疗、法律、金融等应用场景下仍然需要从更为详细和具象的角度理解得出结论的原因。为模型赋予较强的可解释性也有利于确保其公平性、隐私保护性能、鲁棒性，说明输入到输出之间个状态的因果关系，提升用户对产品的信任程度。下面，我们从「完善深度学习模型」、「深度学习模型与人的关系」、「深度学习模型与社会的关系」个方面简介研究机器学习可解释性的意义。

（1）完善深度学习模型

大多数深度学习模型是由数据驱动的黑盒模型，而这些模型本身成为了知识的来源，模型能提取到怎样的知识在很大程度上依赖于模型的组织架构、对数据的表征方式，对模型的可解释性可以显式地捕获这些知识。

尽管深度学习模型可以取得优异的性能，但是由于我们难以对深度学习模型进行调试，使其质量保证工作难以实现。对错误结果的解释可以为修复系统提供指导。

（2）深度学习模型与人的关系

在人与深度学习模型交互的过程中，会形成经过组织的知识结构来为用户解释模型复杂的工作机制，即「心理模型」。为了让用户得到更好的交互体验，满足其好奇心，就需要赋予模型较强的可解释性，否则用户会感到沮丧，失去对模型的信任和使用兴趣。

人们希望协调自身的知识结构要素之间的矛盾或不一致性。如果机器做出了与人的意愿有出入的决策，用户则会试图解释这种差异。当机器的决策对人的生活影响越大时，对于这种决策的解释就更为重要。

当模型的决策和预测结果对用户的生活会产生重要影响时，对模型的可解释性与用户对模型的信任程度息息相关。例如，对于医疗、自动驾驶等与人们的生命健康紧密相关的任务，以及保险、金融、理财、法律等与用户财产安全相关的任务，用户往往需要模型具有很强的可解释性才会谨慎地采用该模型。

（）深度学习模型与社会的关系

由于深度学习高度依赖于训练数据，而训练数据往往并不是无偏的，会产生对于人种、性别、职业等因素的偏见。为了保证模型的公平性，用户会要求深度学习模型具有检测偏见的功能，能够通过对自身决策的解释说明其公平。

深度学习模型作为一种商品具有很强的社会交互属性，具有强可解释性的模型也会具有较高的社会认可度，会更容易被公众所接纳。

1.

根据可解释性方法的作用时间、可解释性方法与模型的匹配关系、可解释性方法的作用范围，我们可以将机器学习的可解释性方法分为：本质可解释性和事后可解释性、针对特定模型的可解释性和模型无关可解释性、局部可解释性和全局可解释性。

其中，本质可解释性指的是对模型的架构进行限制，使其工作原理和中间结果能够较为容易地为人们所理解（例如，结构简单的决策树模型）；事后可解释性则指的是通过各种统计量、可视化方法、因果推理等手段，对训练后的模型进行解释。

由于深度模型的广泛应用，本文将重点