要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
这些年来我只做可解释性研究，由浅入深，寥若无人，内里支持我的是途中一次次的感慨，人工智能一个被媒体抬到国运高度的方向，依然有着大量的、重大的系统性漏洞。如果半年前聊这个问题，我的措辞不会这么激烈，但是现在情况不一样了。比如，我们证明了在一些情况下，BN操作中的一些非常低级且重大的问题，虽然BN被广为诟病，但是谁能想到这个低级问题居然需要这么多年才发现？（具体内容后续知乎文章再去慢慢讲） 目前这个知乎文章主要解释另一篇工作——我们从动力学角度，发现并理论解释了神经网络的一个优化陷阱。在早期的训练过程中，如果没有很快的找到优化方向而训练被卡住的时候，不同类别的不同样本之间的特征多样性会急剧的下降，甚至不同样本的特征会逐渐趋同。这种现象是十分反常的，但又是被长期忽略的。这个现象其实在大量神经网络都有体现，不仅仅局限在MLP。 可解释性研究不能离开理论。去年我提了一个“博弈交互可解释性理论”体系，从2021年到2022上半年，我们在这个框架体系里面，发表论文近十篇了，还有在投的很多篇。今年，我盘算着在可解释性理论方向上，再推出一个新的理论系列，目前有九篇文章属于这个方向。下面这篇论文是我的博士实习生刘东瑞做的，算是这个新系列中的一篇论文吧。刘东瑞博三的时候转过来跟我实习的，研究中遇到不少坎坷，非常努力，是个扎实的好学生。 【对应论文】 Dongrui Liu, Shaobo Wang, Jie Ren, Kangrui Wang, Sheng Yin, Huiqi Deng, and Quanshi Zhang “Trap of Feature Diversity in the Learning of MLPs” in https://arxiv.org/abs/2112.00980. 大家好，我是刘东瑞（https://shenqildr.github.io/），今年博士四年级，本研究是在张拳石老师@Qs.Zhang张拳石 的指导下，和课题组的王少博同学（https://gszfwsb.github.io）共同牵头完成的。 神经网络在各种任务中取得了成功，但是神经网络性能优越的根本原因尚未得到充分研究。很多研究旨在解释神经网络中的一些典型现象，比如彩票理论、双下降现象、信息瓶颈假说等等。在本文中， 【研究的意义】 尽管在很多任务中（如在图像、文本数据集中的任务）神经网络也会呈现这种反直觉现象，但是往往会被研究人员忽略，因为它与性能没有直接关系。本文发现并解释了这个现象产生的原因。本文的发现将帮助人们理解神经网络的优化过程，并且理论上为解决类似问题提供指导。 【问题的发现】 在本文中，我们发现一个长期被忽略的基础但反直觉的现象。在多层感知机（MLPs）层数较多并且优化困难的时候，MLPs的训练过程可能会展现出两阶段。如图1(b)绿色线所示，在第一阶段（通常不长），training loss基本不下降。在第二阶段，training loss突然开始下降。如图1(b)蓝色线所示，当任务很简单时，第一阶段可能非常短，因此无法被观察到。 我们发现在第一阶段中，不同种类样本上MLPs的中层特征变得越来越相似（甚至相同）。同一类别中，不同样本的特征梯度多样性一直下降。如图2(a) 所示，在第一阶段中，特征的多样性一直下降，不同类别样本特征的余弦相似度一直上升。并且，如图2（a,b）所示，我们发现第一阶段中特征多样性一直降低的现象在卷积网络（CNNs）和循环神经网络（RNNs）中也存在。更重要的是，网络无法训练的情况（training loss一直不下降）可以被看做是一种无限长的第一阶段。 【理论解释特征多样性下降的原因】 我们从MLPs的学习动力学 (learning dynamics) 角度解释了第一阶段中特征多样性下降的现象。我们发现在第一阶段中，网络的中层特征和权重都朝着一个共同的主方向优化。我们从理论上可以对网络权重改变量进行两种方式的分解。 实验验证：下图和表1的实验结果表明，第一主方向的强度很大，主导着网络优化方向。 基于这两种分解方式，我们理论上近似证明朝着主方向的优化趋势会进一步增强。 实验验证：图5和图6的实验结果验证了Lemma 3 和Theorem 2的正确性。 基于进一步增强的主方向，如果我们只考虑同一个类别中的训练样本，那么这些样本的特征将变得越来越相似。另一方面，这些训练样本具有相似的训练效果，即使得不同神经元的权重朝向一个方向移动。 此外，我们在实验中发现，在训练的初期，如下图所示，MLPs只学习到少数类别的信息（一到两个类别）。 在这种情况下，所有类别训练样本的总效应是由那些少数类别所决定的。因此，不同类别样本的特征被推向一个公共的方向，那么这些不同类别样本的特征将变得越来越相似。 【理论解释缓解特征多样性下降的现象】 我们发现四种操作（批量归一化, 动量，初始化，以及 L_2 正则化）可以缓解特征多样性下降现象，并理论解释了这四种操作有效的原因。尽管在我们理论解释特征多样性下降现象之前，前人的一些操作已经可以消除这个现象，比如批量归一化。但是我们首次从理论上解释特征多样下降这个现象存在的原因，并提供了一些理论指导。这些理论指导可以避免大家在未来应用过程中盲目的去尝试各种操作。 上图的实验结果表明，批量归一化, 动量，初始化，以及$L_2$正则化，这些操作可以缓解特征多样性下降现象。 【作者】  刘东瑞：上海交通大学博士四年级，现在张拳石实验室进行实习研究。 王少博：哈尔滨工业大学本科四年级，现在张拳石实验室进行实习研究。 任洁：上海交通大学博士二年级，师从张拳石副教授。 王康睿：上海交通大学本科四年级，现在张拳石实验室进行实习研究。 尹晟：上海交通大学本科三年级，曾在张拳石实验室进行实习研究。 邓辉琦：上海交通大学博士后研究员，由张拳石副教授指导 张拳石：上海交通大学副教授，博士生导师。http://qszhang.com