可解释机器学习

可解释机器学习

作者：SkylaSun

链接：https://zhuanlan.zhihu.com/p/570926717

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

可解释机器学习

可解释性方法将机器学习模型的决策过程转变成人类更能理解的结果。通用可解释性方法一般仅基于特征进行解释，无法处理图结构信息，在处理漏洞发掘场景下的图数据时，作者将边的相关性分数传递到邻接节点中，从而产生一个节点级别的解释。

  • CAM（类别激活映射图），一种特征可视化技术，最初为解释CNN模型而设计，将深层网络中学习到的语义信息，通过权重与输出节点联系起来。
  • 线性近似，通过梯度与输入，计算每个特征对分类输出的线性化贡献。
  • GradCAM，将线性近似方法应用于GNN层的中间激活函数，而非输入激活，产生了类似CAM的优势。
  • SmoothGrad，对多个噪声输入进行节点特征梯度平均，并且产生了抗噪声的解释。
  • IG（积分梯度），改进了线性近似，过程中参考了反事实基线输入G‘，并且使用延实际输入G的直线路径平均的梯度，以及G和G’之间的输入激活。
  • Gradient or Saliency Method，通过梯度衡量预测结果相对不同输入的变化情况。
  • GB（导向反向传播），对普通的反向传播加了指导，限制了小于0的梯度的回传。
  • LRP（逐层相关性传播），将预测结果反向传递会输入，创建相关性映射。
  • EB（激励反向传播），使用反向传播计算l-1层到第1层中神经元激活的相对影响，而且仅考虑正权重。

另外，本文关注的三种针对GNN模型的可解释性方法概述如下：

GNNExplainer，黑盒前向解释技术，最大化整体预测结果和可判别子图S以及节点特征子集的互信息。

PGExplainer，解决了GNNExplainer需要针对每个单独的图实例进行计算的问题，同样也是通过提取相关子图S进行全局解释，但支持归纳式学习方法。

Graph-LRP使用高阶泰勒展开处理多层GNN上节点之间的消息传递。