有人敢挑战GPT-3的垄断地位！GPT-3自问世以来已成为最大的AI语言模型之一。你不仅可以写电子邮件、写文章、创建网站，甚至可以用Python生成深度学习代码。近日，一款名为“侏罗纪”的模型声称能够打败GPT-3。谁胆子这么大，敢这么叫嚣？不是侏罗纪公园里的恐龙！这是Jurassic-1Jumbo，一种仍处于公开测试阶段的语言模型！现在你可以免费体验了：https://studio.ai21.com/playground除了可以将Python代码转换成Javascript，这个语言模型还有什么特别之处呢？大胆但强大在机器学习中，参数是模型的一部分，是从历史训练数据中学习的。一般来说，在语言领域，参数越多，模型越复杂。Jurassic-1Jumbo模型包含1780亿个参数。一下子去掉GPT-3的30亿个参数！在词汇项上，GPT-3有50,000个单词。但Jurassic-1总共可以识别250,000个表情、单词和短语。覆盖范围比大多数现有模型（包括GPT-3）更广。Jurassic-1模型在公共服务上使用数百个分布式GPU进行云训练。标记是一种将自然语言中的文本片段划分为更小单元的方法，这些单元可以是单词、字符或单词的一部分。Jurassic-1训练数据集有3000亿个token，全部是从维基百科、新闻刊物、StackExchange等英文网站编译而来。模型的训练采用自监督自回归的传统形式，从公共资源中训练出3000亿个token。在优化程序方面，研究人员分别对J1-Large和J1-Jumbo使用1.2×10-4和0.6×10-4的学习率，以及200万和320万个令牌的批量大小。每字节的平均对数概率表示模型在不同领域的适用性。研究人员表示，在几乎所有的语料库中，Jurassic-1模型都领先于GPT-3。在小样本学习的测试中，各有胜负，但两个模型的平均分相同。在基准测试中，Jurassic-1已经能够回答与GPT-3相当的学术和法律问题，甚至表现更好。GPT-3需要11个token，而Jurassic-1只需要4个，采样效率大大提高。当然，语言模型最难的问题是逻辑和数学问题。而Jurassic-1Jumbo已经可以解决非常简单的两个大数相加的算术问题。侏罗纪可以解释一个词的意思。在各种语言模型面前，Jurassic-1Jumbo充其量只能算是后起之秀，算不上什么新奇的模型。但是，和它的前辈类似，如果问题的描述不明确，大概率的答案并不是你想要的。堪称产品经理的终结者。Jurassic-1模型由AI21Labs开发，将通过AI21Labs的Studio平台提供服务。开发人员可以在公开测试版中制作虚拟代理和聊天机器人等应用程序的原型。此外，在公测版中，Jurassic-1模型和Studio还可以用于释义和总结，例如根据产品描述生成产品简称。在根据新闻内容对新闻进行分类的同时，开发者还可以训练自己的Jurassic-1模型，甚至只需要50-100个训练样例。训练完成后，您可以通过AI21Studio使用这个自定义模型。但侏罗纪一号也面临着其他语言模型的“痛点”：对性别、种族和宗教的偏见。由于模型训练数据集或多或少存在偏差，训练出来的模型也会“学不好”。有研究人员指出，GPT-3和类似语言模型生成的文本可能会激化极右翼极端主义思想和行为。侏罗纪模型的输出面临预设场景的问题。对此，AI2Labs正在限制公开测试中可以生成的文本量，并打算对每个微调模型进行人工审核。然而，即使是经过微调的模型也很难改掉在训练过程中养成的“坏习惯”。就像OpenAI的Codex一样，它仍然会生成种族主义或其他令人反感的可执行代码。尽管由以色列研究人员开发，但Jurassic-1似乎比GPT-3更严重地歧视犹太人，这可能是受训练数据集的影响。在偏见和歧视问题上，每个模特都是“五十步笑百步”。不过，AI21Labs的工程师表示，Jurassic-1模型的偏差小于GPT-3。
