【.com原稿】 去年5月，GPT-3问世。OpenAI发布的预训练模型有1750亿个参数。不仅可以写文章、答题、翻译，还可以进行多轮对话、打字、数学计算。它使用的最大训练数据集在处理前达到了45TB。至此，GPT-3已经成为AI界的一颗“流量”明星。它展示了通向通用人工智能的可行路径，因此构建超大规模的预训练模型成为趋势。 今年3月，中国AI学术界迎来首个超大规模预训练模型“启蒙”。这个以中文为核心的超大规模预训练模型由致远研究院牵头，汇集了清华大学、北京大学、中国人民大学、中国科学院人工智能领域的100多位专家。科学等多家企业。从基础性能、有效使用到预训练模型的扩展，提出了一系列创新的解决方案。 3个月后，“启蒙2.0”应运而生。不仅在预训练模型架构、微调算法、高效预训练框架等方面实现了原创性的理论创新，还跻身全球公认的AIBenchmark榜单。它表现出色，在多任务能力方面取得了领先地位。 清华大学教授、致远研究院学术副院长唐杰介绍，“启蒙”的定位不仅是“不一样的思考，面向通用人工智能”。 为什么要启蒙 唐杰在采访中总结了《启蒙2.0》的几个特点——最大、准确、实用。 首先，所谓的“最大”指的是《启蒙2.0》的1.75万亿参数，这打破了此前GoogleSwitchTransformer预训练模型创造的1.6万亿参数的记录，也超越了OpenAI开发的第三代生成式预训练模型TrainTransformer（GPT-3）10倍，是目前最大的预训练模型-全球训练模型。特别值得一提的是，这个全球最大的万亿模型完全基于国产超算平台，其基础算法在中国神威超算上训练。 致远和智扑AI团队之所以能够打造出“最大”的预训练模型，是因为团队首创的FastMoE技术打破了国外MoE技术的局限瓶颈。作为第一个支持PyTorch框架的MoE系统，FastMoE具有易用性强、灵活性好、训练速度快等优点。它可以支持研究人员在不同规模的计算机或集群上探索不同MoE模型在不同领域的应用。与直接使用PyTorch实现的版本相比，速度提高了47倍。FastMoE可以支持NoisyGate、GShard、SwitchTransformer等复杂均衡策略，支持不同专家的不同模型。目前基于阿里PAI平台，也已成功部署在国产神威多核超算平台上。 其次，在“准确率”方面，《启蒙2.0》也表现不俗。先后在ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO等项目取得突破，并在9项任务上获得SOTA，排名第二的成绩更胜一筹。而目前，《启蒙2.0》在问答、绘画、诗歌、视频等任务上已经逼近图灵测试。 那么，在“实用性”方面，《启蒙2.0》也采取了多项措施积极推进。众所周知，大规模预训练模型的参数规模通常远远超过传统的专用人工智能模型，这会消耗大量的计算资源和训练时间。为了提高大规模预训练模型的工业普适性和易用性，无道团队构建了高效的预训练框架，实现了全链路的原创性突破或迭代优化，大幅提升了预训练效率.而且，“启蒙2.0”不同于GPT-3的小批量支付模式。它将预测模型向AI社区和企业开放，任何个人或企业都可以免费申请使用其公共API。(https://wudaoai.cn/home) 生态建设 AI科学界普遍认为，模型参数越大，通用人工智能的潜力越强。然而，大模型的出现只是基石，真正加速人工智能应用落地还需要大生态的加持。唐杰在采访中提到：“我们在思考一个问题——生态。如何建立一个生态，让万亿模型活起来，而不是简单地数数字。” 生态，开源生态，应用生态，数据生态，都是为了让大家参与。你可以做研发、应用，甚至产业化。如果你只有数据，你也可以贡献和共享数据。在生态的帮助下，整个模型将变得越来越智能。” 为加速生态建设，“启蒙2.0”力求在效率和易用性上为开发者提供便利。 Enlightenment2.0预训练框架具有“高效编码、高效模型、高效训练、高效微调、高效推理”五大特点，面向工业应用实践。Enlightenment2.0预训练框架还集成了WuDaoCorpora，全球最大的中文语料库，包括最大的中文文本数据集、多模态数据集和中文对话数据集。 任何企业或开发者在拿到“启蒙2.0”预训练框架后，都可以非常快速的进行部署，然后应用到实际业务中。目前，“启蒙2.0”已与美团、小米、快手、360、搜狗、寒武纪、第四范式、推理科技、好未来、小冰科技等达成合作，共同打造模型生态。 “大模型精细化”是大势所趋，但有人会质疑超大规模预训练模型的演化是否是通用人工智能实现的必要条件？对此，唐杰给出了这样的回答。 “我们只能说这是一条可行的路径。几年前，当通用人工智能战略，即AGI战略被提出时，很多人要么嗤之以鼻，要么认为不可能。但现在在这条路上，大家至少可以看到我取得了一点点的成绩，所以我觉得这是一条非常有可能的路，未来是否一定是唯一或者必须的，都不一定。”【原创稿件，合作网站转载请注明原作者及出处为.com】
