2020年是不同的一年，整个社区面临着许多挑战。但是，尽管2020年面临这些挑战，人工智能仍将继续快速发展。尽管OpenAI发布的GPT-3模型可能是今年最著名的突破，但今年还有许多其他值得注意的研究完成。LanguageModelsFewLearned(GPT-3)：GPT-3在推翻了几个最先进的模型，在许多NLP基准测试中位居榜首之后，超出了所有人的预期。庞大的1750亿参数模型在庞大的语料库上进行训练，可为许多问题生成与任务无关的解决方案。on-shotlearning、one-shotlearning和zero-shotlearning下的评估表明，GPT-3取得了令人鼓舞的结果，通常甚至优于fine-tuned模型。GPT-3的架构与GPT-2几乎相同，其中稀疏变换器在变换器层中添加了交替的密集和局部带状稀疏注意力模式。“将GPT-3的出色性能推向未来，表明生命、宇宙和一切的答案只是4.398万亿个参数。”-GeoffreyHinton，图灵奖得主。EfficientDet:ScalableandEfficientObjectDetection谷歌研究团队今年推出了EfficientDet模型，它比之前的物体检测器快3到8倍。也可以通过减少模型中的参数来实现！该模型引入了加权双向特征金字塔网络和新的复合缩放方法。关于该模型的研究论文被认为是最近介绍的排名最高的论文之一，对该模型的兴趣很高。本文代码实现。EfficientDet很可能用于现实世界的应用，包括机器人技术和自动驾驶汽车，并且检测器的准确性和效率很高。AdaBelief优化器：根据对观察到的梯度的置信度调整步长Adam和随机梯度下降是深度学习社区中最常用的优化器，但通常很难在两者之间做出选择。AdaBelief优化器将两者的优点合二为一！Adam优化器的收敛速度和SGD的泛化功能都很好。AdaBelief的直觉是根据当前方向梯度的依赖程度来调整步长。如果预期斜率与预测斜率有显着差异，我们就不太相信斜率并采取较小的步长。如果观察到的斜率与预测匹配，则置信度更高，将采取更大的步骤。ImageValues16×16Words:TransformersforLarge-ScaleImageRecognitionNLPTransformers是该领域的创新突破，大多数最先进的NLP模型都采用从Transformers派生的方法。作者将类似于原始Transformer的模型应用于本文中的图像，用于图像分类任务。他们使用了所谓的视觉转换器，这些转换器是在大型数据集上进行预训练并针对下游任务（例如NLP转换器）进行微调的转换器。训练该模型所需的计算量大大减少，并且该模型可以匹配或优于基于ResNet的基线架构。这篇论文在AI界很受欢迎。面向类人开放域聊天机器人GoogleResearch推出了一款名为Meena的聊天机器人，它几乎可以与任何事物聊天。它是一个用于生成对话的26亿参数模型，在400亿个单词的语料库上进行训练。该模型建立在一个进化的Transformer上，在多回合对话上训练，其中输入序列包括上下文的所有回合，输出序列是响应。还引入了一种新的人类评估指标，称为灵敏度和灵敏度平均值(SSA)，用于衡量聊天机器人在其响应中的具体和有意义的能力。我们刚刚介绍了AI2020中的一些新模型和研究。我们还看到2020年现有AI技术的采用呈指数级增长，尤其是主流世界对深度学习的采用。原文链接：https://medium.com/dataseries/biggest-innovations-in-artificial-intelligence-in-2020-e2cc6b805464
