人工智能(AI)是当今最热门的话题之一。从字面上看，最近的进展不言自明——向GPT-3问好，它就会问好。人工智能发现的药水指日可待。随着政策制定者试图通过具有数百年历史的法律来理解今年的技术，公司正在招聘比以往任何时候都多的博士。对研究人员和投资者来说，激动人心的时刻可能对政治家和律师来说并不那么重要。今年，内森·贝奈奇(NathanBenaich)和伊恩·霍加斯(IanHogarth)第三次合作编写人工智能商业状况报告，其中涵盖最新的研究、行业、人才和政策新闻。最后但同样重要的是，作者对2021年做出了预测。您可以在此处阅读完整报告(https://www.stateof.ai/)。在这篇文章中，我总结了报告的主要主题和发现，然后提出了我对此事的看法。.ReportSummaryResearch(slides10-62)报告从技术方面入手：只有15%的AI论文公开了其代码的开源性质，PyTorch占据了大部分“研究市场份额”，几个大学团体已达到10亿美元参数标记。此外，它还谈到了大型模型的经济和环境成本。即使硬件得到改进，深度学习成本也在呈指数级增长。当前的SOTA模型需要数百万美元来训练，更不用说调整了。在应用方面，自然语言处理（NLP）在今年获得了最多的关注。除了自然语言处理之外，人工智能正在推动生物学和医学领域日益增长的论文热潮。除了这两个领域，图神经网络（GNN）和强化学习（RL）在今年也取得了突破。当然，COVID-19也在AI社区留下了自己的印记，几乎涉及疾病的方方面面。人才（幻灯片63-81）虽然论文数量在增加，但离开学术界前往大型科技公司的教授人数也在增加，大学也受到冲击。为了反击，大学正专注于专门的AI研究所和资助计划。国际人才流失更为严重。今年，许多科学家从亚洲移民到美国进行研究，他们中的大多数毕业后都留在了美国。美国对外国人才的依赖是明目张胆的。在美国工作的AI研究人员中有70%没有接受过美国培训。这转化为公布的结果。中国研究人员约占NeurIPS口头报告的29%（0.5%的接受率）。尽管有COVID，人工智能人才需求仍然很高，人工智能课程的入学人数一直在增长。行业中最大的亮点（幻灯片82-129）是基于AI的医学。我们正在接近AI药物进入市场的地步。这与生物学/医学论文的繁荣密切相关。但是，有一点值得鄙视，就是规章制度。当前的审批方法既不适用于AI发现的产品，也不适用于AI主导的产品，也不适用于持续改进的工作流程。自动驾驶汽车(AV)行业面临着类似的问题。尽管投入了数十亿美元，但自动驾驶汽车立法仍远远落后于自动驾驶汽车本身。部分资金将用于内部硬件，特别是定制LiDAR技术，另一部分用于自动驾驶汽车堆栈，而其余部分仍主要是手工制作的。同时，对计算的需求激发了新的计算平台提供商和专门的AI硬件，例如Graphcore的M2000、Nvidia的DGX-A100和Google的TPUv4。与此同时，改进ML基础架构和操作的工作正在迅速推进。幻灯片113到129专门介绍行业成功案例。政治（幻灯片130-170）今年的特点是人工智能伦理问题成为主流，包括但不限于性别/种族偏见、警察和军事用途、面部识别、监视和伪造。尤其是军方对人工智能技术的兴趣令人震惊，但并不意外。NeurIPS、ICLR和谷歌等会议采用了新的道德规范，一些公司倾向于公平和隐私的理想。然而，要实现真正的改变，还有很长的路要走。芯片生产和知识产权所有权似乎是政府更关心的问题。政治流行语是AI民族主义：投资成为AI领导者和国家AI政策的国家主权问题。预测（幻灯片172）Benaich和Hogarth以2021年的预测结束了报告。它们如下（幻灯片172）：1）构建更大语言模型的竞赛仍在继续，我们看到了第一个10万亿参数模型。2)将基于注意力的神经网络从NLP转移到计算机视觉，以获得最先进的结果。3)一家大型企业AI实验室由于其母公司改变战略而关闭。4)为了响应国防部对美国军事AI初创公司的活动和投资，一波中国和欧洲以国防为重点的AI初创公司在接下来的12个月内共同筹集了超过1亿美元。5)一家领先的人工智能优先药物发现初创公司（例如Recursion、Exscientia）首次公开募股或以超过100亿美元的价格被收购。6）DeepMind在结构生物学和药物发现方面取得了超越AlphaFold的重大突破。7）Facebook通过3D计算机视觉在增强现实和虚拟现实方面取得了重大突破。8）NVIDIA最终没有完成对Arm的收购。尽管这些预测是针对明年的，但其中一些已经成为现实。关于（1），微软宣布其DeepSpeed库已经具备“万亿参数模型”能力。尽管到目前为止还没有发布任何消息，但10万亿美元的模型显然已经在路上了。关于(2)，具有图像价值的16x16字是朝这个方向迈出的一步。关于（6），除了AlphaFold，我们还有……AlphaFold2！它的最新版本对生物学的影响与2012年AlexNet对计算机视觉的影响相同或更大。目前的媒体报道似乎是一致的。我坚信作者会在2021年将此标记为正确。报告内容接下来，我将自己的观点按幻灯片顺序添加到报告结果中，与最近发生的事件建立一些联系。请记住，该报告是在10月份发布的。从那时起，发生了很多事情。研究（幻灯片10-62）只有15%的AI论文发布了他们的代码（幻灯片11）：我想知道计算机科学其他领域的百分比。此外，并非所有代码都是平等的。在代码方面，由预先存在的组件组成的新架构不如全新的实现重要。新的损失函数或优化器函数可以像嵌入的代码片段一样短。总而言之，我同意AI并不像我们想象的那样开放，但相对于计算机科学的其他领域，它还是相当开放的PyTorch将在行业使用方面超越TensorFlow（幻灯片13、14）：是的，但是数据具有误导性。只有30%的论文陈述了他们的框架。许多人可能仍受TensorFlow的约束。此外，我发现Keras数据没有显示很奇怪（幻灯片14）。AI竞争非常耗费资源（幻灯片16-24）：最近，TimnitGebru因一份概述训练大型语言模型的货币和生态成本的论文草稿而被谷歌解雇。根据她的论文，一个在NAS上训练的参数为0.2bi的Transformer成本约为100万美元。GPT-3有175bi。数学看起来并没有给地球带来任何好处。·这场军备竞赛不会让我们取得任何进展（幻灯片16-24）：我认为NLP的突破竞赛根本不会带来真正的突破。GPT-3几乎是类固醇的GPT-2。考虑到上面提到的MicrosoftDeepSpeed，我们将继续看到媒体上出现臃肿的模型，并且从这种努力中理解不会有任何有意义的结果。大学跟不上，或者他们可以？（幻灯片22）：没有哪个AI行业能跟上大型科技的步伐。大学需要玩不同的游戏。小型模型研究可能以对数成本带来尽可能多的性能。然而，目前该公司是有效学习方面的领先研究机构。比如MobileNet/EfficientDet来自Google，ShuffleNet来自Face++。变形金刚脱颖而出（幻灯片29）：这些模型基于注意力机制，众所周知，注意力机制非常耗电且资源密集，因为给定N个元素的序列，该机制为N2。有效注意力是一个热门话题，但还没有任何解决方案被宣布为赢家。上面提到的大部分AI成本都可以追溯到这个机制。·生物学正在迎来它的“人工智能时刻”（幻灯片30）：确实如此。有了AlphaFold2，我们可能会在这十年看到生物学的重大突破，就像我们在2010年代看到的AlexNet和计算机视觉一样。·基于AI的乳房X光筛查（幻灯片34）：这是一篇有争议的文章。它声称具有超人的性能但缺乏可解释性，到目前为止还没有发布代码或数据集供第三方检查和复制。这篇广为流传的文章引起了世界各地研究人员的热烈反响，共同表达了“人工智能研究中透明度和可重复性的重要性”。作为一个社区，我们必须努力打破人工智能成为愚蠢障碍的准确性竞赛。医生如何信任黑盒算法？人才（幻灯片63-81）人才流失（幻灯片64）：虽然这是关于AI和2020年，但我不得不提到这种观点是以美国为中心的。提到的所有大学都位于美国。大脑一直在运动，尤其是从发展中国家到富裕国家。恰好这次大学是“穷国”，公司是“富国”。·离职与企业家精神下降有关（幻灯片66）：我认为这种联系很差。市场上的企业，人才泛滥，人才短缺，这对更多的企业来说是一个不好的环境。Slide73同意，因为大多数博士都是外国人，而且外国人更有可能加入大公司而不是自己创办公司。NeurIPS受过中国教育的研究人员的贡献（幻灯片70）：与中国成为AI领导者的计划相关。大多数在美国工作的顶级AI研究人员都没有在美国接受过培训（幻灯片71-75）：这些幻灯片指向一个简单的事实：美国高度依赖外国人才。大多数学生获得博士学位。并继续为科技公司工作。仇外法律对美国不利。但是……特朗普对美国不利（幻灯片76）：特朗普试图将移民拒之门外但无济于事，但肯定会提高人们对美国对外国人才依赖的认识，其他寻求AI优势的国家可能会借此机会吸引人才到他们的大学.工业（幻灯片82-129）人工智能优先药物发现（幻灯片83-92）：显然，药物投资的回报率比对自动驾驶汽车的所有投资都要快。此外，更好的药物和更大的疾病覆盖率可能比自动驾驶汽车更能造福于人类。·AV公司还处于起步阶段（幻??灯片93-96）：立法仍处于早期阶段，而且还远未在全球范围内实施。如果今天发布的AV是完美的，那么几乎所有地方都会被禁止，或者无论如何都需要司机。·当10亿美元还不够时（幻灯片97-106）：将投资更多，但仍然不够。AV是时间问题，不是金钱问题。人工智能还不够成熟，我们的法律还没有准备好。目前的视觉研究忽略了我们的世界是连续的。我们不需要从单个图像中检测路标。我们需要更好地聚合来自多个框架的结果。恕我直言，公司只是在LiDAR和监管死胡同问题上倾销资金。·ComputingAdvances（幻灯片107-111）：新颖的硬件总是好的。但是，我不知道堆栈的其余部分是否会成立。大数据集+大计算的问题是按时准备下一批。计算越快（越大），就越难以所需的速度（+数据增强）获得训练数据。政治（幻灯片130-170）道德风险（幻灯片131）：这需要特别注意。最近解雇TimnitGebru凸显了整个行业在道德问题上的错误程度。要求大型AI技术领导AI伦理研究就像要求一家石油公司领导对抗全球变暖一样。她的解雇表明，只要公司不损害他们的商业模式，他们就会尽自己的一份力量。这并不奇怪。鉴于美国大学与企业资金的紧密联系，很难指望它们参与其中。·面部识别是一个主要问题（幻灯片132-140）：现行法律是为人类设计的。这如何推广到可以识别人群中所有个体的系统？我们有权使用匿名身份吗？到什么程度？是否应该阻止公司但允许执法？从某种意义上说，超级英雄有相似之处。我们的法律将如何适用于超人或闪电侠？我们真的可以期望普通人的法律也适用于超人的能力吗？语音和文字呢？（幻灯片132–140）：面部识别关乎我们的存在，但我们在手机上所说的一切又如何呢？我们所说的一切都可能被处理、监控和误解。当面通过法律而忽视其他媒体将忽视房间里的大象：我们所做的一切都受到监控。AI民族主义（幻灯片161-167）：大多数发达国家正在意识到AI及其存在的威胁。人工智能至上很容易转化为军事和经济支配，影响主权。中国显然已经处于领先地位，因为它长期以来一直致力于人工智能的领导地位，并且正在大力投资人才。如上所述，我认为中国吸引外国人才离开美国是迟早的事。印度也是如此。人工智能处于历史最高水平。结果从未如此好过。从来没有过这么多论文。Alphas，Formers，木偶。很容易让自己沉浸在消融研究中而看不到外面还有什么。除了准确之外，模型还应该是经济的、包容的和可解释的。仅仅为了准确性而牺牲这些属性是自恋的。它只对作者有帮助。高精度是第一步，而不是最后一步。最重要的是，人工智能不是自然资源。它不属于一个国家，不属于一块土地，计算机也不属于。AI霸权之争不同于任何其他地缘政治斗争。这是一场由计算硬件和操作它的人才和人才流推动的思维竞赛。
