梯度下降引发AI专家的“激烈争论”。网友：大家的回答值得一读。最近，DeepMind的一位AI研究员在推特上提出了一个问题：机器学习中最美丽/优雅的想法是什么？之所以提出这个问题，是因为他发现数学家和物理学家经常谈论美学，但很少涉及机器学习领域，他很好奇为什么。很快，每个人都给出了自己的答案。但其中一条回复引发了热议，连LeCun等大佬也忍不住卷入其中。这个答案就是前GoogleBrain研究员ChrisOlah提出的“最美的梯度下降理论”。那么这里到底发生了什么？“梯度下降是机器学习中最优雅的想法。”所谓梯度下降法就是一种寻找目标函数最小值的方法。它使用梯度信息并不断迭代调整参数以找到合适的目标值。这个想法更形象的解释就是下山。假设当你站在山上时，雾很大，想尽快下山，但又看不清下山路线，那么只能借助周围的环境信息来一步一个脚印，即根据当前位置向下寻找最陡的地方。重复这个计算过程，就可以到达山谷。当我们求解机器学习算法的模型参数时，为了使得到的模型能够更好地捕捉数据中包含的规律，做出更准确的预测，我们一般会最小化损失函数来获得参数估计。梯度下降法是目前最常用的优化算法，也适用于复杂模型。ChrisOlah认为梯度下降法是机器学习中最优雅的理论，一直致力于人工神经网络的逆向工程。曾就职于OpenAI和GoogleBrain，现为一家专注于大规模模型安全的初创公司的合资企业。创始人。他给出这个答案的理由是，简单的梯度下降可以创造出惊人的结构和性能。该回复获得了近1700人的点赞和支持。就连LeCun也转发了，说他四十年来一直在说服身边的理论同行相信梯度下降法有多么不可思议。仿佛一下子找到了“知己”的LeCun，敞开心扉分享了一段关于自己20多年前的有趣故事。他说，在2000年举行的NeurIPS会议晚宴上，一位非常杰出的ML科学家问了一个类似的问题：“我们在机器学习中学到的最重要的东西是什么？”当时，他回答“梯度下降”。没想到学长听完一脸疑惑，“我自己”这个说法好像是个很傻的回答……△也许是这样的，但事实证明，LeCun说的完??全正确。他还给出了证据“我的一个朋友可以用3线随机梯度下降法代替复杂的传统方法来解决凸问题（SVM，CRF）”。出于充分的理由，这位朋友（LéonBottou）的博客链接也被扔掉了。总的来说，对于“最优雅的梯度下降法理论”的观点基本没有异议。真正引发讨论的是ChrisOlah弟兄的一句话“机器学习之美是生物学之美，而不是数学或物理学之美”。插曲：机器学习之美就是生物学之美？小哥解释说，起初他认为机器学习的美妙之处在于复杂的数学和巧妙的证明，但后来他逐渐意识到并非如此。他给出了以下理由和具体例子来支持他的观点。首先，在他看来，机器学习中的很多理论都可以应用到神经网络中去“发现”非常漂亮的图像，比如通过梯度下降得到的分组卷积图像。“它看起来像一些早期生物吗？”小哥感叹，他从中感受到了自然科学家所感受到的美，所以他觉得机器学习的美也是生物学的美。除此之外，他觉得：训练一个大模型就像去一个偏远的岛屿观察那里的生物。因此，“每款车型的结构都有其迷人的世界，等待我们去观察和发现”。（也就是说，它是如何突然升华的。）从逻辑上讲，他将梯度下降比作生物学中的进化，认为它们是可以产生高度复杂事物的简单过程。而经过深思熟虑，他认为生物学是类比的最好例子，所以机器学习也可以从中得到启发。小哥这番话一出，一个个都收获了几十上百个点赞，但更多的人表示有点难以置信，不以为然。其中就有大名鼎鼎的“嘴炮”马库斯。他很直白的说，你说梯度下降很牛逼是对的，但是跟生物学基本没有关系。同时也有网友反驳说，以反向传播机制为例，我们脑子里根本就没有这个东西。我们怎么能说机器学习类似于生物学呢？“我认为梯度下降仍然是一个数学问题，与进化无关；而且我不得不说数学之美远远超过进化和生物学之美，更何况梯度下降比它聪明几个数量级进化。”又有人回应。反对声此起彼伏……眼看情况越来越糟，楼也越来越高，小哥实在忍不住出来解释了。他说，他的类比确实不完美，可能有表达不准确的原因。但无论如何，这些结论并不涉及解释人工神经网络的生物学合理性。除此之外，一切都是他的直觉，随便接受，随便反驳。嗯，这是一个悬而未决的问题，是否经得起推敲还不好说。不得不说，他提出的最优雅的梯度学习确实是点赞最多的答案。那么，让我们回到问题本身，看看除了梯度下降之外，还有哪些机器学习理论被认为是“漂亮”的。还有哪些想法很优雅？即将进入华盛顿大学攻读博士学位的学生。认为是一个“高斯过程”（GaussianProcess，GP）。对他来说，这是建立模型过程中最精髓的“精髓”。一位在Zoom工作的AI从业者表示，深度学习的框架和体系中优雅的东西太多了：在更底层，GPU加速运算算作一个；在更高层次上，可微分编程/Pytorch的自动计算autograd/backpropagation都可以算在这个范围内；YoshuaBengio的MILA实验室的一位研究员说，当然是机器学习中的缩放法则，“那种简单令人震惊的人类下巴之美！”一位博士网友：“我也觉得答案太多了，硬要选激活函数和ConNet架构。因为它们归根结底很像矩阵和微积分。”有些人给出的答案是：信念传播、流形学习、bottleneckz自动编码器、神经网络中的不变和等变编码等等。当然，一个简单而通用的Transformer也必须有一票。我不会在这里一一列举。然而，有些人认为机器学习一点也不优雅。“毕竟，你要经历各种错误报告和错误，才能得到最终结果。对我来说，我仍然认为物理学中的诺特定理是最优雅的东西。”那么，这就是为什么我们很少谈论机器学习之美的原因？不仅如此，还有人表示：即使机器学习到了2022年，也不能不保证能得到一个有趣的结果就随便“摆弄”宝贵的GPU。在这种情况下，谁会关心机器学习好不好呢？优雅又如何？emmm，好像是这个道理。。。不过总而言之，很多人都说DeepMind研究人员提的问题很好，大家的评论也很有意思，值得一读。最后，您认为机器学习有美吗？如果有，你选哪一个？
