第三届北京致远大会开幕，全球最大智能模型“启蒙2.0”发布。大会在北京中关村国家自主创新示范区会议中心顺利开幕。 北京致远大会是由致远研究院主办的一年一度的国际高端人工智能学术交流盛会。它被定位为“人工智能专家的顶级盛会”。3日，线上线下同步举办，超过3万名人工智能领域专业人士报名参会。 大会开幕式上，北京市副市长金伟、科技部战略规划司司长徐亮出席并致辞。金伟副市长在致辞中指出，近年来，北京市大力推动人工智能加快发展，在前沿研究、人才培养、应用示范、资金支持等方面出台了一系列有力举措，加快建设国家首个人工智能第一代人工智能创新发展试验区，持续推动致远研究院等新型研发机构发展。目前，人工智能相关企业1500余家，人工智能学者4000余人，产业人才4万余人。论文发表量和专利申请量均居全国首位，形成了人工智能人才、成果、企业集中的强大磁场。 副市长金伟也指出，目前，超大规模预训练模型已成为全球人工智能技术研发和竞争的焦点，有望引领技术转型在未来五到十年，带来新的产业模式。为迎接“大模型+大算力”时代的到来，北京支持致远研究院牵头建设“超大规模人工智能模型训练平台”，打造系列“启蒙”楷模。希望国内外高校、科研机构和创新企业积极参与大模型的研发和应用生态，依托该平台不断产出具有国际领先水平的标志性技术和应用成果。 科技部战略规划司司长徐静在致辞中指出，为贯彻落实中央对人工智能发展的部署要求，科技部目前正在加快落实新一代人工智能规划相关任务，实施重大项目，支持北京等15地建设国家新一代人工智能创新发展试验区，依托龙头企业打造自动驾驶、智能供给链、图像感知等15个国家新一代人工智能开放创新平台，加快人工智能在疫情防控中的广泛应用应用和推广人工智能治理，发布实施新一代人工智能治理政策原则，构建包括政策法规、道德规范和技术标准在内的人工智能治理体系。 主任还指出，科技部目前正全力支持北京建设国际科技创新中心，与北京市共同实施支持北京加快建设人工智能强国行动计划具有全球影响力的创新源泉。希望北京加强原创性科技攻关，强化战略科技力量，塑造良好创新生态，激发人才创新活力，推进开放合作，加强能力建设和生态建设，构建人工智能等重点领域技术优势。在建设方面，走出了一条新路子。同时，希望致远研究院加大超大规模智能模型的持续研发和产业生态建设，为人工智能研发和应用搭建重要基础设施。我的国家尽快。 在大会开幕式上，致远研究院发布了全球最大的超大规模智能模型“启蒙2.0”。在为期三天的会议期间，致远研究院还将发布工作计划或建设成果，如支持人工智能创业的“圆创计划”、为国内外青年人工智能研究人员提供学术交流平台的“清远俱乐部”等。. 1。200多位AI顶级专家，29场专题论坛，打造最全面最前沿的AI盛会 本次大会邀请了200多位人工智能领域的顶级专家约书亚·本吉奥（JoshuaBengio），图灵奖获得者2017年，大卫·帕特森（DavidPatterson），2017年图灵奖获得者，彼得·达扬（PeterDayan），2017年欧洲大脑奖获得者，清华大学朱敏博士，国家金融研究院院长，鄂维南院士北京大学博士、加州大学伯克利分校人工智能统计中心创始人斯图尔特·罗素（StuartRussell）、自动驾驶之父塞巴斯蒂安·特伦（SebastianThrun）、自动驾驶先驱卡拉·戈麦斯（CarlaGomes）计算可持续性领域，艾伦人工智能研究所（AI2）首席执行官、微软亚洲研究院副院长奥伦·埃齐奥尼（OrenEtzioni）、清华智能研究院首席科学家马维英产业研究院等。与会专家将就人工智能领域的前沿研究进展和趋势进行深入探讨。 会议设置“预训练模型”、“机器学习”、“群体智能”、“人工智能数学基础”、“智能系统架构与芯片”、“精准智能”、“智能信息检索”围绕国际人工智能学术前沿和产业热点。“清远学术年会”、“AI创业”、“AI制药”、“AI系统”、“AI开放共享”、“AI科技女性”等29个专题论坛。议题范围非常丰富，从AI基础研究、跨界融合到产业应用，为学者、工程师、技术人员提供了一个交流和激活思想的平台。 6月1日开幕式上，图灵奖获得者、清华大学国家金融研究院院长斯玛特博士发表主旨演讲。 2.发布全球最大超大规模智能模型“启蒙2.0”，构建我国人工智能战略基础设施 n构建自主技术创新体系，打造大模型时代的智慧源泉元研究院理事长张洪江介绍了“启蒙”模式的研发背景。他认为，目前“大模型+大算力”是通向通用人工智能的可行路径。大型模型对人工智能的发展具有重要意义。未来，将基于大模型形成类似于电网的变革性人工智能工业基础设施。AI大模型相当于一个“发电厂”，将数据即“燃料”转化为智能能力，驱动各种AI应用。如果大模型与所有人工智能应用相连接，为用户提供统一的智能能力，全社会将形成智能能力生产和使用的网络，即“智能网络”。大模型是下一代人工智能的基础平台，是未来人工智能发展的战略基础设施。 目前国际上主流的大规模模型主要是基于英文语料开发的。致远研究院作为AI基础设施建设的先行者成立，由致远研究院学术副院长唐杰教授牵头，100余名科研骨干参与“启蒙”团队开启了中国-面向大规模智能模型。“启蒙”模型体系将构建“大模型、大平台、大生态”，持续发展超大规模智能模型，围绕大模型研发构建大规模算力平台，以及对外开放示范能力，为各行业发展“赋能”。构建大模型生态。今年3月20日，致远研究院发布了国内首个超大规模智能模型“启蒙1.0”，在中文、多模态、认知、蛋白质预测等方面训练了一系列模型。经过不到3个月的持续更新迭代，《启蒙2.0》实现了更高层次的飞跃。 开幕式上，致远研究院学术副院长唐杰教授介绍了“启蒙2.0”模式的具体情况。他提到，“启蒙”超大模型智能模型旨在打造由数据和知识两个轮子驱动的认知智能，让机器像人一样思考，实现超越图灵测试的机器认知能力。“启蒙”团队在大规模预训练模型研发方面做了大量基础性工作，形成了自主的超大规模智能模型技术创新体系。完整的模型评估链在技术上是完整和成熟的。此次发布的“启蒙2.0”通过一系列原始创新和技术突破，实现了“大而智”，具有规模化、高精度、高效化的特点。 n全球最大万亿级参数，新一代FastMoE补全万亿级模型最后一个短板谷歌SwitchTransformer预训练模型创造的1.6万亿级参数记录，目前国内首创，全球最大万亿级模型. FastMoE技术的开创性研发是突破国外技术瓶颈、实现“万亿模型”的基石。过去，由于谷歌万亿模型的核心技术MoE（MixtureofExperts）与其分布式训练框架及其定制硬件的强绑定，大多数人无法获得使用和研究的机会。“启蒙”团队研究并开源的FastMoE是第一个支持PyTorch框架的MoE系统。简单易用、灵活、高性能，支持大规模并行训练。新一代FastMoE支持Switch、GShard等复杂平衡策略，支持不同专家的不同模型，弥补万亿模型实施计划的最后短板，让梦想成真。 “启蒙2.0”模型在总计4.9T的高质量大规模清洗数据中英双语训练。训练数据包括1.2TB的WuDaoCorpora中文文本数据、2.5TB的中文图形数据和1.2TB的Pile数据集中的英文文本数据。 另外，“启蒙2.0”模型统一了文本和视觉两个位置，支持更多任务，更通用。 n9大顶级智能能力，创新通用精准智能 《启蒙2.0》在9项全球公认的Benchmark基准测试任务中取得优异成绩，实现精准智能。 1）ImageNet零样本SOTA在200个类别上超过了OpenAICLIP； 2）LAMA知识检测：超过AutoPrompt； 3）LAMBADA完形填空：能力超过MicrosoftTuringNLG参数的1.7倍； 4)SuperGLUEfew-shotFewGLUE：超越GPT-3，达到最好的few-shot学习效果； 5)UCMercedLand-Usezero-shotSOTA，超越OpenAICLIP； 6)MSCOCO生成图：超越OpenAI的DALL·E； 7）MSCOCO英文图文检索：超越OpenAICLIP和GoogleALIGN； 8)MSCOCO多语言图文检索：超越了目前最好的多语言多语言Modal预训练模型UC2、M3P； 9）Multi30K多语言图文检索：超过目前最好的多语言多模态预训练模型UC2、M3P。“启蒙2.0”的高精度源于一系列核心技术创新。例如： GLM2.0：是模型架构创新的模型，更通用的预训练模型。此前，它首次打破了BERT和GPT的壁垒，开创了兼容所有主流架构的单一模型。新一代版本是高性能人工智能的典范，以少胜多。100亿个参数，足以和微软的170亿个参数匹敌。Turing-NLG模型在多项任务中取得了较好的效果。 P-tuning2.0算法：大大缩小了少样本学习与全监督学习的差距，少样本学习能力遥遥领先。 CogView：一种从文本生成图像的新框架，克服了文本-图像模型“溢出和收敛”的关键问题，结合VQ-VAE和Transformer来表示SOTA（当前算法性能最好的模型）！在MSCOCOFID指标上的表现优于DALL·E等模型。该模型可以直接实现类似于OpenAICLIP模型的自评分功能，生成国画、油画、卡通画、轮廓画等多种绘画风格。 目前，“启蒙”模型的诸多应用在诗歌创作、对联制作、文本概括、人物问答、绘画等方面已接近突破图灵测试，与人类一较高下！ n高效易用，提升全链路效率，增强大型智能模型的产业普适性。它消耗大量的训练时间等等。为了提高大规模预训练模型的工业普适性和易用性，启蒙团队构建了高效的预训练框架，并进行了原创性突破或迭代优化，实现了效率的大幅提升。 高效编码：研发出最高效、抗噪的中文预训练语言模型编码，解决生僻字等问题； 高效模型：构建了全球首个纯非欧空间模型，仅需一半参数 高效训练：全球首个大规模预训练模型融合框架，形成全新高效训练模型，缩短训练时间减少27.3%，速度提高37.5%； 高效微调：全球首创多类别提示微调，仅需训练0.001%参数即可实现下游任务适配； 高效推理：全球首个低资源大规模模型推理系统，单机单GPU即可进行千亿参数规模的模型推理。 n贡献行业，打造全球最大语料库WuDaoCorpora2.0，提出自然语言评价新标准“致远指数” “启蒙”模型研发进程，致远研究院打造全球最大语料库WuDaoCorpora2.0包含全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集，为业界大规模智能模型的开发提供了丰富的数据支持。 此外，致远研究院提出“致远指数”，参考人类语言能力，构建全面系统的机器语言能力评价体系。“智元指数”首次提出了基于“能力-任务-数据集”层级结构的机器语言评价体系和评价方案，包括6大主要语言能力、30多个主流任务及相关数据集，是也首次基于信息 三、签约“启蒙”模型生态合作机构，加速基于超大规模智能模型的产业生态建设 致远研究院推动发展“启蒙”超大型智能模型产业生态建设，将提供模型开源、API调用、“专业版”大型模型开发、大型模型开发许可授权等形式的模型能力服务，赋能人工智能技术研发。 、搜狗、360、寒武纪、第四范式、好未来、智浦华章等22家“启蒙”大型样板产业生态战略合作企业签约，签约企业包括行业应用企业和IT龙头企业企业、中小创新企业等。同时发出倡议，成立“启蒙”大模科技创新生态联盟，吸引更多企业加入。联盟将以“启蒙”为枢纽，以企业需求为导向，推进模型研发，联合开发大模型、智能化应用，通过模型开发应用促进产业集聚。 此外，致远研究院还开展“启迪峰”模型应用大赛，鼓励各类创新机构和技术人员基于“启迪”模型开发创新产品。实用智能应用为产业发展赋能，同时不断发现和培育基于超大规模智能模型的创新型企业，推动全市人工智能产业可持续发展。 4.推动AI最佳生态发展，支持北京加速在打造具有全球影响力的人工智能创新源 开幕式上，致远研究院院长黄铁军教授介绍了致远研究院的工作计划。四个方面：创新研究、学术生态、产业发展和人工智能治理建设进展。 n创新研究：三种智能模型+一个智能计算平台 在致远研究院黄院长看来，智能模型的创建是源头创新的核心任务。在组织架构、资源保障和机制方面，进行了系统部署，全力构建信息模型、生活模型和物理模型“智能三剑客”。 首先是“启蒙”信息模型。数据是情报的素材。通过“大数据+大算力+强算法”，训练出超大规模的信息模型，为各行各业的智能化提供实用、可用的通用基础智能模型，是人工智能全面走向智能化的中心任务。为当前和未来的经济和社会发展赋能。然后是“进化”生命模型：生命是智能的第一载体，模拟模拟生物神经系统和身体亿万年进化而来，构建生命智能模型，挖掘生物智能的机理是是新一代人工智能发展的不竭源泉。最后是《天道》的物理模型：大自然是生命的摇篮，地球是人类的摇篮。构建地球环境的物理模型是实现类人智能、人机共存与融合的必要条件。建立宇宙物理模型，促进超越地球、穿越时空的智慧。 构建信息模型、物理模型和生命模型，共同的需求是计算能力。目前，北京已支持超大规模智能计算平台建设，构建架构先进、高速互联、可扩展、高效并行的软硬件体系。 n学术生态：自2019年4月起，继续实施“致远学者计划”，成立“清远俱乐部” “致远学者计划”，面向国内外青年人工智能研究者开展学术交流。目标是选拔最优秀的科学家，闯入人工智能技术最前沿的“无人区”，挑战最基础、最关键的问题。截至目前，在人工智能的数学基础、人工智能的认知神经基础、机器学习、自然语言处理、智能信息检索与挖掘、智能系统体系结构与分析等六大研究方向已入选94位致远学者。芯片。他们来自北大、清华、中科院等高校，以及旷视、京东等优势企业。 致远研究院持续推进致远社区建设，着力打造人工智能学者社交网络。今年，致远社区将紧密联系3000余名人工智能顶尖学者，辐射10万余名人工智能研究和技术人才。 特别适合年轻的研究人员。致远研究院今年成立了面向青年人工智能科学家的学术组织“清源俱乐部”，这是一个面向国内外青年人工智能科技工作者的松散活跃的学术交流平台，促进跨学科研究，支持青年科学家以引领引领原创思想，开辟科学新前沿，建立活跃的人工智能学术和技术创新生态， n产业发展：发展智慧医疗，实施“创新计划”支持人工智能创业 致远研究院加快人工智能深度应用，孵化人工智能创新企业，推动人工智能产业发展。当前，医疗健康已成为人工智能最热门的研究和应用领域之一，北京在发展智慧医疗方面具有得天独厚的优势。为推动AI原创成果在医疗行业落地，致远研究院成立“健康医学研究中心”，构建医疗大数据和优质小数据等基础数据，支撑智能医疗核心技术的突破，加快人工智能在医疗健康领域的深度应用。致远研究院与清华智能产业研究院（AIR）开展深度合作，推动以“个体”为中心的AI驱动主动健康管理。 为推动人工智能原创成果转化落地，致远研究院去年启动了创新中心建设，加速人工智能原创成果的成熟和工程化。创新中心。今年，根据国家和北京市推进科技成果转化的最新部署，致远研究院积极整合技术、场景、人才、资金等资源，启动“源创计划”，支持AI创业，开放大模型、数据集等生态资源，连接学术界AI科学家创业团队的应用场景和产业界创业团队的行业领先AI技术，加速形成可落地应用的AI产品。此外，通过设立创投等方式，加快孵化一批具有国际领先技术能力的人工智能创新企业，为北京人工智能产业可持续发展储备后劲。 n人工智能治理：推动落实北京共识，推进人工智能可持续发展 当前，人工智能伦理与治理已成为全球共识，国际社会正在探索建立广泛认可的人工智能伦理体系促进敏捷和灵活的AI治理的原则。致远研究院于2019年成立人工智能伦理与可持续发展研究中心，在国内率先开展人工智能伦理与安全研究，积极参与国际人工智能治理。在人工智能伦理规范方面，2019年5月，我国首部人工智能发展与治理指南——《人工智能北京共识》发布。去年9月，我国首张《面向儿童的人工智能北京共识》上映。此外，致远研究院建设了我国首个“人工智能治理公共服务平台”，为人工智能技术开发和应用中潜在的伦理问题提供检测服务，帮助人工智能研发机构开发技术和技术。更符合AI伦理规范。产品。 联合国在2015年正式通过了可持续发展目标，共17个大项，涉及社会、经济和环境发展问题。为推动人工智能技术服务于可持续发展目标的实现，致远研究院发起成立了“人工智能促进可持续发展国际合作网络与智库”，汇集了来自15个国家的专家学者。同时，致远研究院还与百度、小米、旷视、滴滴等企业合作，推出“可持续发展公益计划”。首批4个研究课题已经发布，研究工作已经启动。未来，已完成的研究成果将面向世界公开，为构建和实现人类命运共同体服务。
