自2012年以AlexNet为代表的深度学习技术取得突破以来，已经10年了。10年后，GeoffreyHinton、如今已是图灵奖获得者的YannLeCun，以及ImageNet挑战赛的主要发起人和推动者李飞飞，您如何看待过去十年的AI技术突破？您对未来十年的技术发展有何判断？近日，海外媒体VentureBeat的一篇采访文章让AI界开始讨论这些问题。在LeCun看来，过去十年最重要的成就包括自监督学习、ResNets、gate-attention-dynamicconnectiongraph、可微分存储和替换模块，例如multi-headself-attention-Transformer。Hinton认为，人工智能领域的迅猛势头将继续加速。此前，他和人工智能领域的一些知名人士曾驳斥过“深度学习碰壁”的说法。Hinton说：“我们已经看到机器人领域的巨大进步，灵活、敏捷和更听话的机器人比人类更高效、更温和地做事。”杰弗里·辛顿。来源：https://www.thestar.com/LeCun和李飞飞同意Hinton的观点，即2012年基于ImageNet数据集的一系列开创性研究开辟了计算机视觉，尤其是深度学习领域的重大进展。推入主流，引发不可阻挡的发展势头。李飞飞表示，2012年以来的深度学习革命是她做梦也想不到的。然而，成功往往招致批评。最近，很多观点都指出了深度学习的局限性，认为它的成功仅限于小范围。这些论点认为，深度学习无法实现其声称的根本性突破，最终帮助人类实现理想的通用人工智能，即人工智能的推理能力真正像人类一样。知名人工智能学者、Robust.AI创始人GaryMarcus在今年3月发表了一篇文章《深度学习撞墙了》。他认为，纯粹的端到端深度学习已经接近尾声，整个AI领域必须找到新的出路。随后，Hinton和LeCun都反驳了他的观点，引发圈内热议。尽管批评的声音不断，但他们不能否认计算机视觉、语言等关键应用取得了长足的进步。成千上万的企业也看到了深度学习的力量，并在推荐引擎、翻译软件、聊天机器人等方面取得了骄人的成绩。2022年，当我们回首AI蓬勃发展的十年，深度学习的进步能给我们带来什么？这种改变世界的变革性技术的未来是好是坏？Hinton、LeCun、李飞飞等人对此发表了看法。2012年，深度学习革命的开始Hinton一直坚信深度学习革命的到来。1986年，Hinton等人的论文《Learning representations by back-propagating errors》。提出训练多层神经网络的反向传播算法，他坚信这就是人工智能的未来。然后，在1989年率先使用反向传播和卷积神经网络的LeCun同意了。Hinton和LeCun等人认为，多层神经网络等深度学习架构可以应用于计算机视觉、语音识别、自然语言处理和机器翻译等领域，并产生匹配甚至超越人类专家的结果。同时，李飞飞也提出了他深信不疑的假设，只要算法正确，ImageNet数据集将是推进计算机视觉和深度学习研究的关键。2012年，AlexKrizhevsky、IlyaSutskever和Hinton的论文《ImageNet Classification with Deep Convolutional Neural Networks》问世，利用ImageNet数据集创建了今天大家耳熟能详的AlexNet神经网络架构，并获得了当年ImageNet竞赛的冠军。这种当时具有开创性的架构在对不同图像进行分类时比以前的方法准确得多。论文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf可以说，这项研究在ImageNet数据集和更强大的GPU硬件的加持下，直接促成了下一个十年。2009年主要的AI成功案例，如GooglePhotos、GoogleTranslate、AmazonAlexa、OpenAIDALL-E、DeepMindAlphaFold等。2012年AlexNet推出后，其他人和机构也开始转向深度学习领域学习研究。GoogleX实验室构建了一个由16,000个计算机处理器和10亿个连接组成的神经网络，并逐渐能够识别出类似猫的特征，并能够高精度地识别YouTube上的猫视频。与此同时，JeffreyDean和AndrewNg在大规模图像识别方面做着开创性的工作。DanCiregan等人的CVPR2012论文。显着提高了卷积神经网络在多个图像数据集上的SOTA性能。论文地址：https://arxiv.org/pdf/1202.2745.pdf总而言之，到2013年，“几乎所有的计算机视觉研究都转向了神经网络，”Hinton说，他曾在GoogleResearch和TorontoResearch工作过分配时间大学之间。他补充说，自2007年以来，人工智能几乎发生了一场彻底的革命，当时“在一次会议上发表两篇关于深度学习的论文甚至都不合适”。十年深度学习进展Fei-FeiLi表示，她深入参与了深度学习的突破——在2012年意大利佛罗伦萨会议上亲自宣布了ImageNet竞赛的获胜者——人们认识到那一刻的重要性也就不足为奇了。“ImageNet是一个始于2006年的愿景，几乎没有得到支持，”李补充说，并补充说它后来“实际上以如此具有历史意义的方式获得了回报。”2012年以来，深度学习的发展速度惊人，深度也令人刮目相看。“障碍正在以惊人的速度被清除，”LeCun说，他提到了自然语言理解、文本生成翻译和图像合成方面的进步。在某些领域，进展甚至比预期的还要快。对于Hinton来说，这样的进步包括在机器翻译中使用神经网络，这在2014年取得了长足的进步。“我认为这会持续很多年，”他说。Fei-FeiLi也承认计算机视觉的进步——比如DALL-E——“比我想象的要快”。驳斥深度学习批评者然而，并非所有人都同意深度学习的进步令人瞠目结舌。2012年11月，加里·马库斯(GaryMarcus)为《纽约客》写了一篇文章，他在文中这样写道：“借用一个古老的寓言，Hinton建造了一个更好的梯子，但更好的梯子并不一定能让你登上月球。”Marcus认为，深度学习并不比十年前更接近“月球”，即通用人工智能或人类水平的人工智能。“当然有进步，但为了登上月球，你必须解决因果理解和自然语言理解和推理问题，”他说。“在这些事情上没有太大进展。”Marcus认为，将神经网络与符号AI（深度学习兴起之前主导该领域的AI分支）相结合的混合模型是克服神经网络局限性的前进方向。不过，Hinton和LeCun都驳斥了Marcus的批评。“深度学习并没有碰壁——如果你看看最近的进展，那真是太棒了，”欣顿说，尽管他承认深度学习在它可以解决的问题范围内是有限的。“没有墙可以撞，”LeCun补充道。“我认为有一些障碍需要清除，而这些障碍的解决方案并不完全清楚，”他说。“但我根本没有看到进展放缓......进展正在加速。”尽管如此，本德仍不相信。“在某种程度上，他们只是在谈论基于ImageNet等基准提供的标签对图像进行分类的进展，看起来2012年出现了一些质的突破。但如果他们谈论的比这更大，那就是炒作了”AI偏见和道德问题隐约可见在其他地方，Bender同意AI和深度学习领域已经走得太远。“我确实认为，将非常大的数据集处理成可以生成合成文本和图像在几个方面使我们脱轨，”她说。例如，人们似乎陷入了一个循环：发现模型有偏见，他们提出试图消除偏见，但公认的结果是目前还没有完全去偏的数据集或模型。此外，她说她希望看到该领域遵守真正的责任标准，无论是针对真实世界的测试还是产品安全——“为此，我们需要公众了解并如何看穿AI炒作存在风险，我们将需要有效监管。”然而，LeCun指出，这些都是人们倾向于简化的复杂而重要的问题，而且许多人“有恶意的假设”。他坚称，大多数公司“其实都想做正确的事”。此外，他还抱怨那些不涉足人工智能技术和研究的公司。“这是一个完整的生态系统，但有些人却在看台上开枪，”他说。说，“基本上就是为了吸引眼球。”关于深度学习的争论肯定会继续下去，虽然争论看起来很激烈，但李飞飞强调，“这些才是科学的全部。”科学不是真理，科学是寻找真理的旅程。这是一个发现和改进的旅程——所以辩论、批评和庆祝都是其中的一部分。”然而，一些辩论和批评让李飞飞觉得“有点做作”，无论是说AI全错，还是说AGI指日可待，都是极端案例。“我认为这是更深入、更微妙、更微妙、更立体的科学辩论的一个相对流行的版本。”当然，李飞飞指出，人工智能在过去十年中取得的进展令人失望——并不总是与技术有关。人工智能和深度学习的未来LeCun承认，一些人工智能挑战，例如自动驾驶汽车，尚未得到解决，人们已经投入了大量资源。“我会说其他人低估了它的复杂性，”他说，并补充说他没有将自己归入这一类。“我知道这很难，而且需要很长时间，”他声称。“我不同意一些人的说法，他们说我们基本上已经弄明白了……只是把这些模型做得更大而已。”事实上，最近LeCun发表了一份创造“自主机器智能”的蓝图，这也表明他认为目前的人工智能方法无法实现人类级别的人工智能。但他也看到了深度学习未来的巨大潜力，他说最令他兴奋的是让机器学习更高效，更像动物和人类。LeCun说，对他自己来说，最大的问题是动物学习的基本原则是什么，这也是他一直提倡自我监督学习等事物的原因之一。“这一进步将使我们能够构建目前遥不可及的东西，例如可以像人类助手一样在日常生活中提供帮助的智能系统。这是我们需要的东西，因为每个人都会戴上AR眼镜，我们将不得不与之互动。”Hinton同意深度学习正在取得更大的进步。除了机器人技术的进步，他还相信神经网络的计算基础设施将会有另一项突破，因为目前的设施只能使用非常擅长矩阵乘法器的加速器进行数值计算。他说，对于反向传播，模拟信号需要转换为数字信号。“我们将找到在模拟硬件中工作的反向传播的替代方案，”他说。“我非常相信，从长远来看，我们几乎所有的计算都会以模拟方式完成。”李飞飞认为，对于深度学习的未来，最重要的是交流和教育。“在StanfordHAI，我们实际上花费了过多的精力来面对商业领袖、政府、政策制定者、媒体、记者和记者以及整个社会，并举办专题讨论会、会议、研讨会、发布政策简报、行业简报。”对于如此新技术，李飞飞更担心的是，背景知识的匮乏无助于传达对这个时代更详尽、更深思熟虑的描述。深度学习10年将如何被铭记对于Hinton来说，深度学习取得了比预期更多的成功在过去的十年里，但他也强调，这种巨大的进步应该归功于“计算机硬件的进步”。.“我认为2050年的人们会从2022年开始审视这些系统并说：是的，他们很勇敢，但他们并没有真正发挥作用。”但李希望过去十年将被铭记为“伟大的数字革命”。“它让所有人的生活和工作变得更好，而不仅仅是人类的少数人或部分人。”她还补充说，作为一名科学家，“我永远不会认为今天的深度学习是人工智能探索的终结。”在社会层面上，她说她希望将人工智能视为“一种令人难以置信的技术工具，以尽可能以人为本的方式开发和使用——我们必须认识到这种工具的深远意义。”影响并接受以人为本的思维框架，设计和部署人工智能。”最后，李菲菲说：“我们如何被记住，取决于我们现在在做什么。”
