GaryMarcus，前几天刚跟马斯克吵架，又跟人吵架了。这次吵架的对象是YannLeCun。一向喜欢给深度学习泼冷水的Marcus，今天发文大谈与LeCun的“旧账”和“新仇”，并白眼了LeCun：原来是这样。日前，有人在推特上发帖提问：机器学习中最优雅最美好的idea是什么？感觉数学家和物理学家讲审美的东西很多，我们却很少讲，为什么？于是网友们来认真答题：乘法权值更新，kerneltrick，降维，一些凸优化方法，变分推理，熵和信息论等等，大家也讨论了机器学习研究的美学。有些人认为机器学习理论家实际上是在谈论优雅，尤其是那些具有理论计算背景或传统物理学背景的人。还有尖锐的话：之所以很少有人谈美学，是因为机器学习重在应用，而不是像纯数学那样“一文不值”。GoogleBrain的研究员ChrisOlah也发表评论说：ML的优雅是一种生物的优雅，而不是数学或物理学的优雅。梯度下降创造了令人难以置信的结构和行为，就像进化创造了令人敬畏的自然复杂性一样。LeCun说：梯度下降？我熟悉这个！在将近4年的时间里，我一直在努力让我的许多更注重理论的同事相信梯度下降的不可思议的力量。LeCun在1989年发表的论文，利用梯度下降法训练CNN进行图像识别，后来成为计算机视觉研究的基础理论。LeCun还回忆起2000年在丹佛举行的NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道：“我们在ML中学到的最重要的东西是什么？”LeCun回答：“梯度下降”。研究人员当时脸上的震惊表情表明他对这个答案嗤之以鼻。LeCun的“Chou”被人们记住了很久……那么，“梯度下降”是不是最优雅的ML算法呢？有人赞成有人反对。毫无疑问，GD是我们在过去十年中看到的人工智能所有进步背后的核心驱动力。GD很棒，...但它不是AI。LeCun忙着和网友友好交流，Marcus也来了。哪里有深度学习的讨论，怎么能没有我马库斯的身影呢？的确。但关键是，不可思议的力量≠无限的力量。意识到（梯度下降的）局限性就是知道下一步该怎么做才能取得进展。LeCun看了一眼：所以你的意思是放弃梯度下降？？1.基于梯度的优化是学习的一个要素，而不是人类水平AI的完整组件集。2.未来有哪些解决方案可以替代基于梯度的优化？您是否确信(a)无梯度优化不好？，或者(b)优化本身不好？对此，马库斯表达了自己的委屈：我的意思是DL需要“补充”，而不是“替代”！感觉又被“稻草人谬误”攻击了，附上我的论证核心：我从来没有呼吁深度学习/梯度下降的替代。未来会出现的是“其他”工具，例如与SGD一起工作的符号处理操作。Marcus还引用了2018年发表的一篇文章《DeepLearning:ACriticalAppraisal》作为证据：尽管存在我所描述的问题，但我认为我们不需要放弃深度学习。相反，我们需要重新定义它：不是一种放之四海而皆准的方法，而是众多工具中的一种。还有最近的主题演讲：我们不需要抛弃深度学习，但我们需要想办法对其进行补充，因为智能本身是多方面的。然而，LeCun并不买账。他顺着Marcus的话回答：所以“深度学习是一种方式，但我们需要一种新的推理结构”？欢迎来到我的世界！这激怒了马库斯：我给出的引文来自2018年，那篇你称之为“大部分错误”的文章。我的立场从1992年开始就没有变过，唯一迟到的是你那句“欢迎来到我的世界”，其实是你对我实际立场的认可。然后让我们看看旧账。对于Marcus在2018年写的那篇文章，LeCun是??这样评论的（虾猪心）：大家看到这里，两人讨论的对象和观点是错位的。LeCun希望如果有新的方案还是需要在DL下进行封装，而Marcus的意思是新的方案需要围绕DL进行封装。前者是规模的扩大，后者是混合和补充。
