当前位置: 首页 > 科技观察

神仙斗智斗勇深度学习:LeCun出大招,Marcus出狠话

时间:2023-03-20 19:56:40 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。AI学术界又一次吵架了。图灵奖获得者、年近70岁的机器学习创始人、唱衰AI的代表等,纷纷出来“开挂”。相关话题在推特上被转发过千,点赞数以万??计,场面异常激烈。追根溯源,是从一个直击心灵的问题说起:什么是深度学习?什么是深度学习?您可能自然而然地想起了一个再熟悉不过的定义:深度学习(DL)是一类机器学习算法,它使用多层从原始数据中逐步提取更高层次的特征。——维基百科有点乱?现在,有人给出了更明确的说法,枪手不是别人,正是深度学习三巨头之一、图灵奖获得者YannLeCun。他说,有些人似乎仍然对深度学习是什么感到困惑。以下是深度学习的定义:深度学习是构建一个由参数化的功能模块组成的网络,并使用基于梯度的优化方法进行样本训练。与此定义正交的是学习范式:强化学习、监督学习或自我监督学习。如果你真正的意思是“监督学习需要太多数据所以它不能做X”,不要说“深度学习不能做X”。对于其扩展形式(动态网络、可微分规划、图神经网络等),网络结构可以根据数据动态变化。话还没说完,他一口气放出五句平行句,解读当前深度学习领域涌现的“术语”:别说“DL对对抗样本非常敏感”,你真正的意思是“有监督的卷积神经网络”网络对对抗样本很敏感”。不要说“深度学习是有偏见的”,你真正的意思是“纯监督学习再现了训练数据中的偏见”。不要说“DL无法处理组合性”,您真正的意思是“这种特定的架构不会泛化到许多以前未见过的部分组合”。不要说“DL不做逻辑推理”,你真正的意思是“一个简单的前馈神经网络不能做长链推理”。不要说“深度学习不做因果推理”,你真正的意思是“一个正常的、有监督的神经网络不会自发地发现因果关系。”本来是为了回应我去年年初提出的观点——“深度学习不再是一个流行的概念”。但谁能想到,推文一出,各路大神纷纷站出来表态发表了自己的看法并展开了热烈的讨论。这是一个大规模“交互场景”的开始。机器学习的创始人去辩论Marcus和LeCun,第一批去的人是DaniloJimenezRezende,一位资深人士DeepMind的研究科学家,他同意YannLeCun的观点,简要总结一下他的观点:深度学习是构建复杂模块化可微函数的工具集合。讨论深度学习能做什么或不能做什么是没有意义的。什么是真正的有意义的是如何训练它,以及如何把数据喂给它。但是著名的人工智能“野蛮人”——马库斯看到这条推文当场退出:如果你不能讨论一个方法能做什么,它能做什么做不到,那还是遇见了霍德?敬佩为了不被批评,深度学习领域的人总是尽量避免做出具体的、可验证的主张。这是一个非常危险的信号。机器学习先驱反击:深度学习是一种方法论。对此,机器学习领域的创始人之一、AAAI前主席ThomasG.Dietterich迅速回应:深度学习不是一种方法,而是一种方法论。这是一个研究路径。于是,这场辩论又诞生了一位大人物——机器人教父罗德尼·布鲁克斯。他说:啊,那么深度学习是AI还是AGI?还是人们能想到的所有未来技术都是基于深度学习的?这句话似乎点燃了马库斯新的战斗热情:罗德尼·布鲁克斯你说得对!深度学习社区现在将自己定位为所有未来的技术都将归功于深度学习,但他们并没有真正致力于任何事情。等等,我马上就会火力全开。面对这种“挑衅”,Dietterich说。图森打破:DL(和AI社区)的目标是推动智能系统的科学和工程进步,而不是成为谈话之王。深度学习确实不定义“是什么”,而是定义“怎么做”除了双方的相互交锋,Keras的创始人Fran?oisChollet也开辟了一个新帖子,表达了他对“什么是深度学习”的看法。他认为到目前为止,深度学习的定义对他来说太“严格”了。并且与以下相反:⑴非表征学习(如SIFT、符号AI等人工特征工程);⑵“浅层学习(shadowlearning)”,其中只有一个特征提取层。此外,它没有规定特定的学习机制(例如反向传播)或特定的用例(例如监督学习或强化学习),也不需要端到端的联邦学习。当前的定义描述了我们如何进行深度学习,而不是它是什么。目前对深度学习的定义只是给出了一个比较明确的界限:什么是深度学习,什么不是。例如:DNN是深度学习,而遗传编程、快速排序、支持向量机等都不是深度学习。单个密集层不是深度学习,密集堆栈才是深度学习。K-means不是深度学习,stackedK-meansfeatureextractor是深度学习。人类工程师编写的程序通常不是深度学习,并且对这样的程序进行参数化以自动学习一些常量仍然不是深度学习。表示学习需要一系列特征提取器。根据Fran?oisChollet的说法,深度学习模型仅代表非常小的程序空间。本来,肖莱并没有加入辩论,谁知道,他被拉下水了。好东西网友BenKamphaus@Marcus现场@他,还有另一位深度学习巨人,图灵奖获得者Bengio,他说:Bengio,Chollet等人正在对需要解决的问题进行实质性的处理。不确定那些愤怒和吵着要DL研究人员去做他们多年来一直在做的工作的人是如何帮助解决这个问题的。马库斯坦言解释道:本吉奥和肖莱我很了解,只是希望他们更坦诚一些。你误解了我的意思。Bengio和Chollet都没有直接回应Marcus的说法。吃瓜群众看得目瞪口呆,感觉大部分AI学术界都走到了尽头。如此盛大的场面,吃瓜群众难免有些摸不着头脑。有人问:这道题有这么难吗?当然,还有一脸茫然的神色。所以你怎么看?第一直播传送门https://bit.ly/2ZqjKkA