文字|丽娜智东西4月25日报道，今天，为期三天的ICLR学习表征国际会议（International Conference on Learning Representations）在法国土伦举行。
不要低估这个带有半开玩笑名字的会议：ICLR。
它由深度学习三巨头中的两位 Yann LeCun 和 Yoshua Bengio 共同组织。
虽然ICLR仅举办了5年，但随着深度学习的日益普及，这个会议已成为深度学习领域最重要的会议之一。
在这三天的时间里，来自世界各地的机器学习专家齐聚一堂，共同探讨表示学习、深度学习等技术的最前沿发展。
其研究的主要目的可以用一句话来概括：如何让算法应用更广泛，消耗更少，开源节流。
这些技术的应用领域也非常广泛，包括视觉、语音、文本理解、游戏、音乐等等。
（会议21场演讲详见文中表格）本文将介绍ICLR的3篇最佳论文、6位学术专家、21场主题演讲，以及业内人士对本次会议的不同看法，以及作为小赞助商。
八卦~ 1、ICLR的前世今生（左为Yoshua Bengio，右为Yann LeCun） 从2000年开始，Yann LeCun和Yoshua Bengio这两位大专家一起组织了多次学术研讨会。
第一届ICLR于2016年在美国亚利桑那州斯科茨代尔举行，共有28篇论文入选。
今年，这一数字飙升至 2 篇（会议轨道公开论文和 2 篇研讨会轨道研讨会论文）。
组织者之一的 Yann LeCun 是现任 Facebook 人工智能研究院院长，同时也是美国纽约大学的教授。
他也是深度学习重要分支——卷积神经网络（CNN，Convolutional Neural Nets）的发明者之一；他之前来北京清华大学做过《深度学习与AI未来》志东西也参加了主题演讲（难得一见的清华深度学习课！我们“偷”了全套有用的资料）。
Yoshua Bengio 是加拿大蒙特利尔大学的全职教授，也是蒙特利尔学习算法研究所（MILA）的负责人。
谷歌去年年底宣布在蒙特利尔成立深度学习和人工智能研究部门，并为包括 Yoshua Bengio 在内的研究人员提供服务。
蒙特利尔学习算法学院为学者提供 800 万美元的研究经费。
2.三篇最佳论文（热闹的会议现场） 虽然会议才刚刚开始，但ICLR组委会在开幕前就已经评选出了三篇最佳论文。
三天的会议期间，每天都会产生一篇最佳论文演讲。
这三篇论文的主题分别是：简化神经编程算法架构、保护训练数据的隐私，其中最受争议的一个主题其实是在谈论模型的复杂性。
最好的三篇论文是： 1. 《了解深度学习需要重新思考泛化 (Understanding deep learning requires rethinking generalization)》这篇文章来自麻省理工学院、谷歌和加州大学伯克利分校。
第一署名作者是来自麻省理工学院的张驰元。
总结：基于相同大数据样本的不同算法也能得到相似的结论。
具有足够尺度参数的简单浅层网络可以产生完美的有限样本表达能力。
文章引入非结构化噪声数据进行测试，证实了图像识别算法模型的可靠性。
2. 《基于隐私数据训练的半监督式知识转化深度学习算法 (Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data)》本文来自宾夕法尼亚州立大学、Google 和 OpenAI。
第一签名作者是宾夕法尼亚州立大学的 Nicolas Papernot。
摘要：由于一些机器学习应用（如临床医疗案例）的训练涉及敏感数据，模型可能会无意中泄露用户隐私，因此本文引入噪声数据和黑盒算法来保护隐私数据。
3. 《通过递归法使神经编程架构更为广泛化 (Making Neural Programming Architectures Generalize via Recursion)》本文来自加州大学伯克利分校，联名作者为：Jonathon Cai、Richard Shin、Dawn Song。
摘要：由于通过数据学习的神经网络相对复杂，本文提出一种应用于神经网络解释程序的递归算法，包括基本运算、冒泡算法、拓扑类、快速排序、任务细分四个任务。
提高数据训练的准确性。
值得一提的是第一篇《了解深度学习需要重新思考泛化》论文。
文章一经入选，立即引发热议。
有人认为这篇论文做了非常颠覆性的工作，将启发未来几年深度学习的研究；其他人认为这篇论文被高估了，这指出泛化对于随机标签不利。
这个问题的观点“没意思”；然而，大多数人、很多人都持有与志东相同的态度。
有争议性、能引发大家讨论的文章才是有趣的文章。
毕竟，深度学习仍然是一个发展中的领域。
科学，无论好坏，本身就太主观了。
除了三篇最佳论文外，ICLR还别出心裁地设立了最佳评论奖，评选出对论文内容和后续讨论最具价值的15位评论员，每人获得美元奖励。
3. 6位主讲嘉宾，21场演讲 如上所述，从会议的整体趋势来看，研究主题可以用一句话来概括：如何让算法应用更广泛，消耗更少，开源节流。
具体论文主题包括：寻找广义算法、解决大数据处理/图像信息处理问题、引入数学/统计优化算法以提高效率和容错/鲁棒性、多任务协作等。
会议邀请了15家论文出版商给予演讲和演示，包括三篇最佳论文。
此外，6位相关领域专家做了特邀嘉宾演讲。
六位演讲嘉宾包括：1）Eero Simoncelli，纽约大学银牌教授（Yann LeCun 也拥有纽约大学银牌教授这一头衔）、IEEE 国际电子技术和信息科学工程师学会会员。
2) Benjamin Recht，美国加州大学伯克利分校电气工程与计算机科学学院。
3）Chloé-Agathe Azencott，法国巴黎高等矿业学院计算生物学系研究员，法国巴黎居里研究所和法国国家科学研究中心研究员。
4）Riccardo Zecchina，意大利博科尼大学理论物理系，都灵人类基因基金会项目负责人。
5）Regina Barzilay，美国麻省理工学院电气工程与计算机科学系，微软研究员，麻省理工学院自然语言处理研究组成员。
6) Alex Graves，加拿大多伦多大学计算机科学系。
值得一提的是，多伦多大学计算机科学系系主任Geoffrey Hinton是第三位深度学习巨头。
除了教授身份外，Geoffrey Hinton 也是 Google Brain 多伦多分部的负责人以及多伦多 Vector 研究所的首席科学顾问。
。
在2016年的ImageNet竞赛中，他利用深度学习在计算机图像分辨率方面实现了新的高精度。
（左为Geoffrey Hinton，右为Yann LeCun）会议所有发言流程如下： 4. 赞助商变更历史。
学术讲座讲完了，我们来谈谈一些有趣的事情——ICLR发起人的变迁史。
如果你仔细研究，你会发现其中非常有趣。
细心的人看上面的演讲流程会发现，会议有三个部分标注了“百度赞助”、“谷歌赞助”和“亚马逊赞助”。
ICLR赞助商分为白金、金、银、铜四个级别。
不出意外，这三家公司都是白金级赞助商，而且都是近期非常重视人工智能和深度学习的公司。
尤其是谷歌，自 2016 年第一届 ICLR 以来一直赞助 ICLR。
除了百度、谷歌和亚马逊之外，今年的白金赞助商还包括 DeepMind、Facebook、英特尔、Nvidia 和 Salesforce。
去年白金赞助商只有4家，今年却多达8家，增加了一倍，可见各家企业对深度学习和本次会议的重视。
值得一提的是，国内初创公司神剑科技也在赞助商名单中，其联合创始人韩松有两篇论文入选。
（年度 ICLR 赞助商名单）（ICLR 会议上的 NVIDIA 展位） 5. 行业之声智能工具还询问了 AI 和深度学习从业者，看看他们对这场热闹的会议有何看法。
在回答智西西的问题“我们什么时候可以看到新的ICLR技术落地？”时，身在土伦的英伟达大中华区高性能计算与应用深度学习部技术总监赖俊杰博士表示，“相对而言，这个会议并不特别关注申请。
他这次的重点不是最好的论文，而是训练加速、量化和剪枝等领域。
尤其是在剪枝方面，马里兰大学和 NVIDIA 研究所在相关技术上有一些新的进展。
网友李嫣然从更学术的角度解读了这次ICLR。
她认为，看看ICLR的论文，可以看出GAN（生成对抗网络）确实非常受欢迎。
此次ICLR的所有GAN论文中，主要集中在三个方向：如何提高GAN的稳定性、使用新的角度/框架来理解和建模GAN、以及GAN与（半）监督的结合。
除了GAN之外，已经流行了两年的Attention和Memory这两个方向也仍在发展中。
继光源联合创始人罗云甚至直言，“GAN简直称霸半边天，Generative这个词的出现频率几乎……我牛逼Word……”不过，也有不同的地方业内有声音。
曾就职于百度硅谷研究院、现为SLAM初创公司Perceptln联合创始人的刘少山认为，（对于ICLR的日益火爆）其实是一个非常有趣的现象。
学术界推崇的事情能否在工程学上完成还不确定。
我们读了很多深度学习和SLAM各方面的论文都非常好，但不一定能实现（项目）。
其中很少有像 AlphaGo 那样有用且可以应用于特定场景的。
结论，深度学习已经变得流行。
自2016年神经网络在ImageNet取得重大突破以来，基于深度学习的人工智能浪潮逐渐兴起。
近一年来，它势头更猛，迅速占领市场。
大街小巷上。
无论你同意还是不同意，乐观还是消极，深度学习都已经来到了你身边。
这从早年无人知晓的 ICLR 会议如今人满为患、赞助商翻倍、论文如纸片般飞来就可见一斑。
深度学习，这个看似奇幻的技术术语，现在已经变得非常流行。
但也正是因为这股热潮的到来，深度学习、机器学习、人工智能这三个概念一度被混淆。
深度学习算法作为机器学习算法的一种，属于人工智能这个大范畴。
近年来，深度学习虽然在语音、图像的检索和分类方面取得了突破性进展，但仍存在训练数据量过大、训练时间过长、计算能力过大、难以大规模推广和推广等问题。
应用。
它不是人工智能的通用解决方案。