近日，GPT-3火了！相信大家在网上看到过各种GPT-3的演示。这个由OpenAI创建的大规模机器学习模型，不仅可以自己写论文，还可以写诗，甚至你写的代码都可以帮你写。先让大家了解一下GPT-3的强大之处。首先，我们来看看GPT3在问答任务上的表现：无论你的问题是异想天开的脑筋急转弯，还是逻辑性很强的数学问题，它都能流畅地回答。开发者SharifShameem用GPT-3做了一个生成器，你只需要输入你需要的布局，它就可以为你生成JSX代码，如视频所示。也有人在GoogleSheets中开发了一个新的GPT3功能，除了简单的数学运算，它还可以自动查找美国各州的人口和创建年份：另外，它还可以查找推特账号：sorryYes，如果你想试用GPT-3，你必须先获得试用资格，但这种模式创建的应用程序似乎拥有无限的可能性，通过它可以用简单的英语查询SQL数据库，自动注释代码，自动生成代码，写热门文章标题，甚至帮我写一篇热门文章。什么是GPT-3？GPT-3是一种神经网络驱动的语言模型。与大多数语言模型一样，GPT-3在未标记的文本数据集（训练数据包括CommonCrawl和维基百科）上进行大量训练，从文本中随机删除单词或短语，模型必须学会仅使用周围的单词作为上下文来填写单词或短语。这是一个简单的训练任务，可以生成强大且可泛化的模型。GPT-3模型架构本身是一种基于Transformer的单向语言模型。这种架构在2-3年前开始流行。流行的NLP模型BERT和GPT-3的前身GPT-2都是基于transformer的。从架构的角度来看，GPT-3其实并不是很新！之所以如此火爆，是因为GPT-3的模型规模增加到1750亿，并且用45TB的数据训练，是有史以来创建最多的Maximum语言模型。从它衍生出来的参数模型是巨大的，所以它可以做很多其他模型做不到的事情。如前所述，你可以让它成为翻译家、作家、诗人、程序员等。如果你觉得GPT-3的1750亿模型参数有点抽象，那我举个例子，你应该明白了：BERT模型有3亿参数GPT-2是GPT-3模型的前身，有1.5billionparametersNVIDIA的Megatron-BERT有80亿个参数，MicrosoftTuringNLP有170亿个参数。即便是排名第二的微软图灵NLP和GPT-3的数据参数也不在一个数量级。值得一提的是，此次GPT-3论文共有31位作者，论文篇幅高达72页。网友惊呼，PTM的工作现在是不是要开始pk论文页面了？和往常一样，GPT-3马上放出了GitHub项目页面，在这里可以找到各种有趣的demo，最后附上Github地址：https://github.com/openai/gpt-3。
