2020年在紧张的防疫工作中悄然过去。这一年，人工智能的前进步伐从未停止。今年人工智能行业有哪些新动态？你为全球抗疫做出了哪些贡献？明年的趋势是什么？数据科学社区AnalyticsVidhya对此进行了总结。报告称，2020年是大跃进的一年。从OpenAI的GPT-3到AlphaFold，这是一个激动人心的成就。与此同时，数据科学在机器学习、自然语言处理(NLP)、计算机视觉等领域蓬勃发展。让我们一一盘点2020年的突破性技术：自然语言处理（NLP）最大的语言模型GPT-3今年2月，微软发布了全球最大的深度学习模型，170亿参数的TuringNLP，几个月后来被GPT-3远远超越。GPT-3是一个拥有1750亿个参数的自然语言深度学习模型。它还从CommonCrawlhe和维基百科收集数据集。数据集总量是之前发布的GPT-2的116倍，是迄今为止最大的训练模型。.作为GPT-2的升级版，它们在功能上有哪些异同？虽然都是基于Transformer，但是修改初始化、预归一化、可逆分词的性能也是一样的。但它们的变压器类型不同。GPT-3使用类似于稀疏Transformer的东西，它在每一层中使用交替密集的、局部带状稀疏注意力模式。GPT-3也完美的弥补了BERT的两个不足。既不会过分依赖现场标注数据，也不会过拟合现场数据分布。这个强大的语言模型不仅可以回答问题、翻译、计算、完成推理任务、替换同义词等，还能写新闻，有理有据，真假难辨。普通用户应该如何使用如此强大的GPT-3？OpenAI以支付的形式开放了API，只要通过一个“文本输入、文本输出”的接口，就可以访问他们的GPT-3模型。其相关论文入选NeurIPS2020最佳论文。论文地址：https://arxiv.org/abs/2005.14165项目地址：https://github.com/openai/gpt-3参考链接：https://openai.com/blog/openai-api/Thelargestchat机器人BlenderBotBlenderBot是Facebook的开源聊天机器人，拥有94亿个参数。与谷歌的Meena相比，Facebook将BlenderBot吹捧为Facebook多年研究的结晶，是包括同理心、知识和个性在内的对话技巧的结合。根据人类评估员的说法，BlenderBot在参与度方面优于其他模型，并且感觉更人性化。这个聊天机器人包含94亿个参数，改进了解码技术，融合了新颖的技能，比之前最大的聊天机器人系统大了3.6倍。官方博客：https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/项目地址：https://parl.ai/projects/recipes/计算机视觉目标检测模型DETRDETR是一个使用Transformer的端到端对象检测模型。与传统的计算机视觉模型不同，DETR将对象检测问题作为NLP模型中的预测问题来处理。Facebook声称DETR是“一种重要的对象检测和全景分割新方法”。它包括基于集成的全局损失，该损失使用二分匹配和Transformer编码器-解码器架构来执行独特的预测。与以往的目标检测系统相比，DETR的架构完全不同。它是第一个成功将Transformer集成为检测管道的核心构建块的目标检测框架。DETR平衡了性能与最先进的方法，同时完全简化了架构。官方博客：https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers源代码：https://github.com/facebookresearch/detr语义分割模型FasterSEGFasterSEG不仅拥有卓越的性能，也拥有最快的速度。它是一个实时语义分割网络模型。众所周知，语义分割可以准确的对图像的像素单元进行标注。但是随着时代的发展，图像的分辨率越来越高。在这里，FasterSeg采用了神经架构搜索（NAS）的方法，使其可以应用到更新颖、更广阔的搜索空间来解决不同分辨率的图像问题。它还提出了一种解耦和细粒度延迟正则化方法，可以在提高精度的同时提高速度，从而缓解“架构崩溃”问题。通过实验发现，FasterSeg在保持准确性的同时，运行速度比Cityscapes快30%以上。ICLR2020上发表了一篇关于FasterSeg的论文。论文地址：https://arxiv.org/abs/1912.10917项目地址：https://github.com/VITA-Group/FasterSegEfficientDet-D7EfficientNet-D7主要用于边缘设备在简历领域使其更加高效和便捷。由谷歌基于AutoML开发，在COCO目标检测任务上达到SOTA水平。它需要的模型参数比同类产品少4-9倍，在GPU上的运行速度比其他检测器快5-11倍。它的作者是谷歌大脑的工程师MingxingTan和首席科学家QuocV.Le。其相关论文被CVPR2020采纳。论文地址：https://arxiv.org/abs/1911.09070项目地址：https://github.com/google/automl/tree/master/efficientdetDetectron2这个超级强大的PyTorch目标检测库来自脸书。与原来的Detectron相比，它训练速度比以前更快，功能比以前更多，支持的模型比以前更多，一度在GitHub热榜上排名第一。事实上，Detectron2是对原始Detectron的完全重写：第一代是在Caffe2中实现的，为了更快地迭代模型设计和实验，Detectron2在PyTorch中从头开始编写。此外，Detectron2实现了模块化，用户可以实现自己定制的模块，并将其添加到目标检测系统的任何部分。这意味着可以用几百行代码编写大量新研究，部分新实现可以完全脱离核心Detectron2库。在这一代所有可用模型（FasterR-CNN、MaskR-CNN、RetinaNet、DensePose）的基础上，Detectron2还增加了CascadeR-NN、PanopticFPN和TensorMask等新模型。开源地址：https://github.com/facebookresearch/detectron2DeepMind的AlphaFold解决蛋白质折叠问题谷歌人工智能技术公司DeepMind提出的深度学习算法“AlphaFold”破解了困扰生物学家五十年的蛋白质分子折叠问题。AlphaFold还能够准确确定蛋白质结构的哪一部分更重要。Nature和Science争相报道这一科技成果，科技领袖也发来贺电。Alphafold在生物学上取得重大突破，成为CV和ML领域的里程碑。它被称为：“生物界的ImageNet时刻”。在该算法中，科学家将蛋白质的折叠形状视为“空间图”，并使用残基来表示它们之间的节点。因此，创建了一个注意力神经网络系统来执行端到端训练以探索蛋白质的特定结构。为了训练好这个算法，Alphafold使用了一个拥有170,000个蛋白质结构的数据库，并使用大约128个TPUv3核心（相当于100-200个GPU）运行数周，算法效率更高。这项研究的影响是深远的。哥伦比亚生物学家MohammedAlQuraishi在Nature文章中表示：“这对蛋白质结构预测领域产生了深远的影响，是一流的科学突破，是我毕生追求的科学成就。”开源代码：https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13论文地址：https://www.biorxiv.org/content/10.1101/846279v1.full.pdf强化学习Agent57得分更高比人类基线Agent57由DeepMind开发，它在Atari测试集的所有2,600场比赛中的表现均高于人类平均水平。它还为57种不同的Atari视频游戏创建了评估机制。由于这些评估机制需要RL代理掌握如此多的知识，因此很少有RL算法能够实现它们。Agent57在其ArcadeLearningEnvironment(ALE)环境中采用了一系列强化学习、模型学习、基于模型的训练、模仿学习、迁移学习和插值方法。其提供的Atari2600游戏环境界面使人类玩家能够接受更丰富的人机挑战。在游戏方面，Agent57无疑是最强的RL智能体。研究论文发表于《人工智能研究杂志》。论文地址：https://arxiv.org/abs/1207.4708f机器学习运算的兴起MLOps（MachinelearningOperations）是数据科学领域一个比较新的概念。类似于DevOps（Development和Operations的结合），简单来说就是机器学习方面的DevOps。DevOps如果服务于IT开发人员，解决的是开发人员将项目交给IT运维部门实施和维护的问题。然后，MLOps为数据科学家和ML工程师提供服务，使他们能够切换到协作工作并提高工作效率。它有一套完整的行为策略来解决ML和AI在运行周期中遇到的各种问题。GitHub增长最快的Top20项目中有五个是机器学习运维工具。这表明整个人工智能行业正在从“如何开发模型”转向“如何运维模型”。参考链接：https://nealanalytics.com/expertise/mlops/开源地址：https://github.com/microsoft/MLOpsAI抗击新冠病毒世界卫生组织列出了9个抗击新冠病毒的研究方向。美国白宫邀请Kaggle参与并发起了NLP挑战赛来寻找这9个关键问题的答案。在Kaggle上，包含20万篇学术文章的新冠数据集免费提供给全世界的NLP研究和AI研究。希望全球人工智能学者能够利用科技手段，推动新冠病毒问题的解决。该数据集由白宫科技政策办公室协调规划，艾伦人工智能研究所、扎克伯格基金会、乔治敦大学安全与新兴技术中心、微软研究院、IBM等多家科技巨头已贡献了。Kaggle还发起了预测竞赛。预测世界不同地区的新冠肺炎感染人数和死亡人数。并将预测数据与实际数据进行比较，形成数据预测模型。如果预测模型足够好，可以缓解新冠肺炎造成的医疗资源紧缺。新冠病毒九大研究方向：https://www.who.int/blueprint/priority-diseases/key-action/Global_Research_Forum_FINAL_VERSION_for_web_14_feb_2020.pdf?ua=1新冠数据集：https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/展望2021机器学习从NLP到计算机视觉，从强化学习到机器学习运维。大家都见证了AI领域的进步，也期待AI能为全球抗疫提供力量。科技还在进步，2021年会发生什么变化？AnalyticsVidhya预测了2021年的一些关键趋势：1.数据科学领域的工作机会将在2021年继续增加。由于数据的爆炸式增长和消费习惯的改变，数据科学将发挥越来越重要的作用。同时，传统制造业和采矿业也需要分析数据。2.Facebook的PyTorch使用率将超过谷歌的TensorFlow。机器学习框架之战有两个主要竞争者：PyTorch和TensorFlow。分析表明，研究人员正在逐渐放弃TensorFlow，大量使用PyTorch。3.Python在2021年会更加流行。不用说，Python是目前最流行的语言。为了巩固其地位，它在10月推出了Python3.9，提高了性能。目前，Python3.10正在开发中，预计2021年初发布。4、基于疫情前时代数据的模型有效性将下降。疫情导致全球消费习惯发生改变，疫情前时代数据模型的有效性正在逐渐衰退。后疫情时代，谁能把握住这些新消费模式的特点，谁就能获得成功。5、数据市场将继续上涨。新冠疫情改变了全球消费者行为和市场游戏规则，这意味着正在产生多样化的新数据集，这将创造更大的价值。
