3月20日，北京致远人工智能研究院发布超大规模智能模型“启蒙1.0”。“启蒙1.0”是我国首个超大规模智能模型系统。由致远研究院学术副院长、清华大学唐杰教授牵头，北京大学、清华大学、中国人民大学、中国科学院等100余人参与。人工智能科学家团队联合攻关，取得了多项国际领先的人工智能技术突破，形成了超大规模智能模型训练技术体系，训练出了包括中文、多模态、认知、蛋白质预测等一系列模型。 “启蒙”模型：旨在从更本质的角度进一步探索通用智能 会上，致远研究院院长黄铁军教授介绍了研发“启蒙”模型的初衷。在他看来，这波人工智能的基本特征是“数据+算力+算法=模型”。模型凝聚了训练数据的内在规律，是人工智能应用的载体。近年来，人工智能的发展逐渐从“炼大模型”阶段走向“炼大模型”阶段。通过设计先进的算法，整合尽可能多的数据，聚集大量的计算能力，集中训练大型模型，被大量企业使用，这是必然的趋势。 智能模型不仅要有大的规模（主要体现在参数量上），还要有高智商以满足各种应用的需求，这需要在大量的技术挑战中有所突破。作为一家以人工智能源头创新为使命的新型研究机构，致远研究院于2020年10月正式启动超大规模智能模型“启蒙”项目，开发博大精深的超大规模训练模型并从更本质的角度进一步探讨通用人工智能。同时，构建规模化智能模型应用生态，推动相关机构和个人开发者基于模型开发各类新型智能应用，服务我国实体经济产业升级。 为了更好地推动“启蒙”大模型的研发，保持研发过程中的技术领先地位，由9位来自学术界和工业界的顶尖科学家组成的“启蒙”也成立于同时。“大型模型技术委员会。委员会主席为清华大学唐杰教授，委员会成员包括：北京大学鄂维南院士、清华大学陆白教授、中国人民大学人工智能与信息技术学院院长温继荣教授清华大学计算机系副教授刘志远，清华大学计算机系副教授黄敏烈，北京大学王轩计算机研究所研究员万晓军，创始人袁金辉First-ClassTechnology和循环智能联合创始人杨志林。后续，技术委员会将指导检查大型模型研发的技术方案和路线选择。 “启蒙1.0”：我国首个超大规模智能模型阶段性成果。据介绍，“启蒙1.0”提前启动了四款大机型的研发。 《悟道·文渊》是一个“以中文为核心的大规模预训练模型”。目标是打造全球最大的以中文为核心的预训练语言模型。实现互联网最佳处理能力，在文本分类、情感分析、自然语言推理、阅读理解等任务上超越人类平均水平，探索具有通用能力的自然语言理解技术，开展类脑语言模型研究。目前，“启蒙·文渊”模型拥有26亿参数，具备记忆、理解、检索、数值计算、多语言等多重能力，覆盖开放域答题、语法纠错等20种主流中文语言和情绪分析。对于自然语言处理任务，技术能力已经达到了与GPT-3相同的水平，达到了现有中文生成模型的领先效果。 《启蒙·文澜》是一个“超大规模多模态预训练模型”，目标是突破基于多模态数据结合图文视频的预训练理论问题，最终生成工业级中文图文预训练模型及应用，并在多项评测应用中超越国际最高性能。目前，“启蒙·文澜”模型拥有10亿个参数，基于开源收集的5000万个图文对进行训练。它是第一个公开的中文通用图文多模态预训练模型。目前，该机型性能已达到国际领先水平。在中国公共多模态测试集AIC-ICC的图像生成和描述任务中，得分比冠军队高出5%；流行的UNITER型号高出20%。 《启蒙·文慧》是一个“面向认知的超大规模新型预训练模型”。逻辑、意识和推理的认知能力，旨在开发千亿至万亿参数的更通用、性能超过国际水平的预训练模型，构建预训练模型体系，形成认知智能生态。目前，“启蒙·文汇”模型参数规模已达113亿。《启蒙·文慧》在多项任务上的表现接近突破图灵测试。通过简单的微调、AI诗歌、AI绘图、AI视频制作、图文生成、图文检索、复杂推理。 《启蒙·文速》是一款“超大规模蛋白质序列预测预训练模型”。训练模型在基础性能、可解释性和鲁棒性方面达到世界领先水平。目前，“启蒙·文速”已经完成了基于100GBUniParc数据库训练的BERT模型在蛋白质方面的训练，完成了基于5万到10万个人体外周血免疫细胞（25-30种细胞类型）和1万个免疫细胞的训练在基因方面。药用菌的数据训练，同时构建训练软件框架并验证其可扩展性。 据唐杰教授介绍，本次发布的“启蒙”大模型1.0版本已经完成了百亿、千亿参数的预训练，在多项国际评测中获得全球第一.有一定的认知能力。今年，后续迭代版本将陆续发布，开放给业界使用。 应用生态“三步走”：探索“启蒙”大模型的生态建设 在开发模型的同时，致远研究院也在同步探索“启蒙”模型的应用生态建设模式。据唐杰教授介绍，后续的“启蒙”模式将以开放的API（应用程序接口）的形式对外提供服务。用户申请并获得授权后，可以基于模型API开发各种智能应用。此外，社区版开源模式也将服务于我国人工智能研究的发展。 据唐杰教授介绍，下一步，“启蒙”模式应用的生态建设分为三个主要阶段，重点围绕示范应用、API生态和社区运维。第一阶段是示范应用建设。将针对电商、智能文本服务、垂直领域打造数个独立示范应用，并开放数个优质应用demo，支持用户在平台页面使用和测试。第二阶段是API和平台生态建设。将设计多种API，支持模型的不同请求方式，构建支持高并发、高速推理的API接口，支持企业级用户和个人独立开发者对模型或特定功能的需求。要求。第三阶段为社区运营迭代，逐步扩大在线测评，建设开发者和用户社区，建立完善的反馈机制，并作为模型迭代的参考标准，同时加强社区维护和管理，加快模型迭代. 目前，致远研究院已启动一期示范应用建设，正在与快手、搜狗、360、阿里、智浦华章、格朗集团智能、循环智能、新华社等机构合作代理等洽谈示范应用，共同打造一批产业级示范应用。下一步，致远研究院将加强用户开发，做好用户服务，与AI头部企业共同开发更多产业级示范应用，加速推进API生态建设和社区运营迭代.科技挑战赛等活动将扩大“启蒙”模式的影响力，吸引更多的人工智能企业、研究机构和个人开发者开展基于模型的应用开发，推动构建世界领先的超大规模-规模化智能模型应用生态。
