本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。“深度学习不是真正的学习。”英特尔神经拟态计算实验室主任MikeDavies在国际固态电路会议(ISSCC)上批评了深度学习。戴维斯说，深度学习并不是大多数人认为的那样。它只是一个优化程序，实际上并不“学习”。重灾区是深度学习中的反向传播算法。他说，反向传播与大脑无关，而只是深度学习计算机程序中用于优化人工神经元响应的一种数学技术。反向传播的一个自然例子是不存在的。虽然他承认现在深度学习很有效，但他也坚定地强调大脑才是真正智能计算的范式。Davies死守的“不像大脑”这个问题，是深度学习教父Hinton一直关注的问题。但对于这种批评本身，美国媒体ZDNet认为，他的主要目标其实是YannLeCun。为什么深度学习与神经形态计算的辩论会攻击LeCun？就在周一，这位AI巨头在同一个学术会议上发言时，顺便批评了戴维斯的神经拟态计算。神经拟态计算是英特尔布局的一个重要新兴方向。在这个领域，他们推出了芯片样品Loihi。英特尔表示，该芯片可以自主学习，同时消耗传统芯片千分之一的能量。而戴维斯是神经拟态计算实验室的负责人，负责英特尔在该领域的探索。他参加了ISSCC会议，还谈到了Loihi。Loihi使用了一种称为尖峰神经元的技术，这种技术只有在收到样本后才会激活。神经形态计算的倡导者认为，这种方法更好地模仿了大脑的运作，例如像大脑一样经济地发出信号。在LeCun看来，神经拟态计算领域还没有产生有效的算法，为什么要为一个无用的算法打造芯片呢？不过，戴维斯直接表示反对。他说神经形态计算产生的算法是有效的，LeCun忽略了神经形态计算的优势。“LeCun反对尖峰神经元，但他说我们需要解决硬件中的稀疏性问题，而这正是尖峰神经元所做的，”戴维斯说。他说，这很讽刺。为了反驳对尖峰神经元的批评，戴维斯引用了安大略省滑铁卢市应用脑科学小组的数据，该小组比较了语音检测算法在不同芯片上的性能。该算法被要求识别“aloha”这个词并拒绝无意义的词，在CPU、GPU和Loihi芯片上运行。该数据表明，Loihi在运行传统神经网络的传统处理器上表现良好，尤其是在计算速度方面，而且能效更高，但准确性较低。在另一个例子中，Davies说Loihi执行基本分类器任务的速度比传统的基于GPU的深度学习网络快40倍，准确率提高了8%。因此，Davies认为Loihi效率更高，能够运行更大的网络，他认为机器人控制将成为像Loihi这样的神经形态芯片的杀手级应用。戴维斯还从LeCun的批评中挑出一个他同意的观点：脉冲神经元的硬件很丰富，提供了许多工具来映射有趣的算法。针对这句话背后隐含的“但软件算法水平不行”，戴维斯表示，他的团队目前的目标是在算法上取得进展，而算法确实阻碍了这个领域。在推特上，有人远程参与了这场辩论。一些人认为，神经形态计算与量子计算一样，处于起步阶段，因此没有什么可批评的。有人认为深度学习在很多领域都取得了成果，量子计算和神经形态计算还差得很远。虽然技术很特殊，但都没有被证明，也没有编程模型。其实，这场LeCun和Davies的较量除了学术层面之外，还有一点不得不考虑的就是Facebook和Intel的商业竞争。周一，LeCun表示Facebook正在内部开发AI芯片。一旦Facebook自己的芯片研发成功，就没有必要使用英特尔的芯片，甚至会抢走英特尔的客户。看完这场空间口水战的来龙去脉，我们回到戴维斯指责的核心：反向传播。训练深度学习模型离不开它，但也接连受到质疑。反向传播有效吗？Backpropagation，诞生于1986年，出自DavidPlaut、StevenNowlan和GeoffreyHinton在卡内基梅隆大学（CMU）时发表的Nature论文：ExperimentsonLearningbyBackPropagation。△www.cs.toronto.edu/~fritz/absps/bptr.pdf31年后，这个概念随着深度学习被广泛应用到各个领域，也遭遇了不小的危机。它的提出者之一，“深度学习之父”欣顿在多伦多的一次会议上公开质疑它。他说他对反向传播“深表怀疑”，甚至想“抛开一切重新开始”。因为那不是大脑的工作方式。Hinton一直很重视“不像大脑”的问题。他曾在麻省理工学院的一次演讲中说过，他认为正是这些不像大脑的东西导致了人工神经网络的效果不够好。在Hinton发出自我怀疑之后，反向传播成为热门话题，甚至被称为“当今AI的致命弱点”。但现在，或许Hinton应该对自己的工作更满意一点。哈佛大学临床神经科学学院的两位科学家在Cell的新一期期刊《认知科学趋势》（TrendsinCognitiveSciences）上发表了一篇综述，总结了人工神经网络的反向传播算法在大脑中是如何体现的。这篇题为《大脑中的误差反向传播理论》（TheoriesofErrorBack-PropagationintheBrain）的综述综合了近期的一些理论研究，分析了几种生物反向传播模型。作者说，这些理论研究“拒绝了过去30年普遍接受的教条，即误差反向传播算法对于大脑来说太复杂而无法实现”。根据这些研究，大脑神经回路中类似反向传播的机制基于突触前和突触后神经元活动中突触可塑性的简单规则。论文：https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30012-9还有一点……虽然Davies和LeCun在学术会议上争论不休，但是Deeplearning和neuromorphic计算并不相互排斥。许多学者正在研究如何将神经形态芯片与深度学习相结合。例如，来自橡树岭国家实验室、加州理工学院和田纳西大学的学者研究了如何在高性能计算设备、神经形态芯片和量子计算机上运行复杂的深度神经网络。这是他们的研究：AStudyofComplexDeepLearningNetworksonHighPerformance,Neuromorphic,andQuantumComputers地址：https://arxiv.org/abs/1703.05364andGuillaumeBellec,FranzScherr,etal.,GrazUniversityofTechnology,奥地利，最近在arXiv上发表的一项研究提出了反向传播的替代方案。他们的研究题目是：Biologicallyinspiredalternativestobackpropagationthroughtimeforlearninginrecurrentneuralnets地址：https://arxiv.org/abs/1901.09049感兴趣的朋友可以深入探索~
