工程领域的人工神经网络和深度学习等方法，是否需要寻求其在神经科学、认知科学和生物学等其他领域的合理性？
我觉得问题中至少包含两个子问题： 首先的问题在于：什么叫做『神经科学、认知科学和生物学等其他领域的合理性』？ 根据我的观察，很多时候，所谓的合理性指的是符合对应科学的观察和现象。这些观察和现象能够在一定的层面上解释神经系统信息加工机制，但是并不代表这就是整个故事了。因为这样一个具有神经科学合理性的理论或者现象很有可能是一个结果，而不是一个原因，而你需要解释为什么这个生物合理性的规律是『合理的』。比如我们说Hebbian Rule，这样一个神经科学理论用一句话描述是fire together, wire together。这个规则主要是描述了神经元连接的一种规律。但是，为什么会需要有这样一种规律？这种规律要完成什么样的目的和功能？每一个所谓生物合理性的设计背后都需要有更多的研究来解释：为什么这个设计是合理的？如果工程领域的研究能够解释这个『为什么』，那么就是这个工程方法来解释生物合理性，而不是寻求生物合理性。 举个例子，我们看到鸟在飞，然后我们决定做一个飞行器。在做这个飞行器的过程中，我们使用很多工程的方法。我们在这个过程中是否单纯地寻求这些飞行相关的工程方法和原理的生物合理性呢？我觉得不是。我觉得是这些方法的研究使得『鸟有翅膀』、『鸟长成流线型的样子』这样的生物学现象更加合理了，而不是『鸟有翅膀』、『鸟长成流线型的样子』使得这些方法更加合理了。这些方法本身的合理性是需要大量的物理学实验和理论推导来证明和支持的。 第二个问题在于：为什么我们需要寻找生物合理性？我们是希望用生物学的合理性的规律使得工程学的方法看起来更合理一些，还是怎么样？ 如果我们说『这个工程方法是合理的，因为人脑也是这么做的』，这完全没有解释这个工程方法的合理性，这叫甩锅，一口锅全甩到了人脑研究的研究者身上。为什么人脑要这么做？为什么人脑这么做是合理的？为什么人脑这么做就是高效的？为什么？ 我们的根本的目的在于：我们是为了解释和理解事物背后的原理，而从各种不同的角度和学科来思考，我们当然不能只停留在『这方法好用』，我们还要了解『为什么这个方法好用』，对工程方法也是这样，对神经科学研究也是这样——这也是我们为什么能够有无穷尽的研究可以做的原因之一。如果神经科学上相关的知识，能够帮助我们理解工程方法的工作原理，我们当然可以使用我们懂得稍微多一点的神经科学研究结果来解释现在我们并不是太懂工程方法。我们的目的始终是为了更好地了解工程方法本身的原理，而寻求生物合理性只是一种工具和途径，能够帮助我们达到我们的目的。 比如神经科学中的『感受野』这个概念，很有可能在工程上发现这是一种合理的控制计算复杂度的过程（我都是猜的，我不是研究深度网络的）。将来的深度网络研究很有可能从数学的角度解释为什么『感受野』这样的设计能够是的运算更加高效——比如有可能是减少冗余，或者降低相关，或者其他的什么的。如果我们知道了数学方面的解释，我们可以回到大脑系统来看，在整个大脑皮层为什么需要这些功能——比如减少冗余，或者降低相关——从而帮助我们了解大脑皮层到底在进行什么样的信息加工：处理了哪些信息，丢掉了哪些信息，为什么要丢掉这些信息，为什么要保留另外的信息，这些保留了的信息是如何决定我们的感觉和知觉的。这两个学科的共同进步，我相信是可以同时推动这两个学科的共同发展的。就像当年数学和物理两个学科互相促进，共同推进发展一样。 为了说明这种相互性，我试着举这样一个例子：如果一个工程方法，比如人工神经网络，没有使用Hebbian Rule，但是照样很高效，那又怎么样呢？这只是说明我们不能借Hebbian Rule来理解人工神经网络，仅此而已。这既不能证明这个人工网络就一定是不行的，也不能证明Hebbian Rule就是唯一的正确解，也不能说明人工网络就没有进行Hebbian Rule背后所需要的计算过程和功能。万一，一个没有把Hebbian Rule放入设计的人工神经网络，在数万次迭代之后，自然而然地出现了Hebbian Rule类似的现象——如果不同节点信息传递频繁，他们之间的连接更加紧密——我们到底是去用Hebbian Rule在解释这个人工网络，还是去用人工网络在解释Hebbian Rule？ 最后，在这里吐个槽。认知科学家和神经科学家之间经常看不上眼，吐槽对方的研究。 神经科学家看到认知科学家构建那些贝叶斯模型，概率模型，就嘲笑说：神经元怎么可能做贝叶斯，你这个模型在生物学上就不合理。 你怎么就知道贝叶斯不具有生物合理性？诚然，一个神经元的动作电位可能很难让人想象怎么做贝叶斯模型，但是这并不代表大脑就不在做贝叶斯运算啊。神经元组成环路，环路组成脑区，你怎么就知道神经环路不能进行贝叶斯运算，你怎么就知道脑区里面那么多神经元一起不能进行贝叶斯运算了？计算机最基本的元件只有0/1两种状态，跟神经元比起来差多了，但是连这些元件组成的整个计算机系统都可以非常顺利地进行各种贝叶斯运算——不信的话你可以打开Matlab、R、Python，随你喜欢——为什么一个更加厉害的信息处理系统反倒是不能做贝叶斯推论了？ 我们不能用不具备生物合理性来说一个模型是不合理的，也不能为了让一个模型合理而强行给它加上所谓生物合理性，因为很有可能是我们现在既不了解生物，也不了解模型。等到我们都了解得更多的时候，等我们逐渐知道背后原理到底是什么，我们才有可能发现他们可能都是合理的，而且还有可能是同一种计算过程的不同实现方式。