当前位置: 首页 > 科技赋能

第三届北京致远大会开幕,全球最大智能模型“启蒙2.0”发布

时间:2024-05-19 16:56:25 科技赋能

6月1日,北京致远大会由北京致远人工智能研究院(以下简称致远研究院)主办。

在北京中关村国家自主创新示范区会议中心成功开幕。

北京致远大会是由致远研究院主办的一年一度的人工智能国际高端学术交流活动。

定位为“顶级AI内行赛事”。

第一届会议于2016年召开,今年是第三届。

将于6月1日至3日上线。

线上线下同步举办,超过3万名人工智能领域人士报名参会。

大会开幕式上,北京市副主席市长、科技部战略规划司司长许倞出席并致辞。

靳伟副总统市长在致辞中指出,近年来,北京大力推动人工智能加速发展,在前沿研究、人才培养、应用示范、资金支持等方面出台了一系列有力举措,加快建设国家新型人工智能第一代人工智能创新发展试验区,持续推动致远研究院等新型研发机构发展。

目前,人工智能相关企业超过4000家,人工智能学者4000多人,产业人才4万多人。

发表论文数量和专利申请数量居全国第一,形成人工智能人才、成果、企业集群。

强磁场。

(北京副总统市长·靳伟)靳伟副总统市长也指出,当前,超大规模预训练模型已成为全球人工智能技术研发的热点和竞争焦点,并有望引领全球人工智能技术发展。

未来五到十年的技术飞跃,并带来新的产业模式。

为迎接“大模型+大算力”时代,北京支持致远研究院牵头建设“超大规模人工智能模型训练平台”,打造一系列“启蒙”模型。

希望国内外高校、科研机构和创新企业积极参与大模型研发和应用生态,依托该平台不断产出具有国际领先水平的标志性技术和应用成果。

科技部战略规划司司长许倞在致辞中指出,为落实中央对人工智能发展的部署要求,科技部目前正在加快实施新一代人工智能规划、实施重大工程、支持北京等15地相关任务。

建设国家新一代人工智能创新发展试验区,依托龙头企业建设自动驾驶、智能供应链、图像感知等15个国家新一代人工智能开放创新平台,加快人工智能广泛应用推动人工智能治理智能化,发布实施新一代人工智能治理原则,构建包括政策法规、伦理规范、技术标准等在内的人工智能治理体系。

(科技部战略规划司司长许倞)许倞司长还指出,科技部目前正在全力支持北京建设国际科技创新中心,并正在共同实施一项行动与北京市共同规划,支持北京加快建设具有全球影响力的人工智能创新中心。

希望北京在加强原创性科技研究、增强战略科技力量、塑造良好创新生态系统、激发人才创新活力、推动开放合作、增强能力和生态建设等方面继续发力,打造人工智能等重点领域技术优势,开辟国际科技创新中心建设新路径。

同时希望致远研究院加大超大规模智能模型的持续研发和产业生态建设,为我国人工智能研究和应用搭建重要基础设施尽快地。

大会开幕式上,致远研究院发布了全球最大的超大规模智能模型“启蒙2.0”。

为期三天的大会期间,致远研究院还将发布支持人工智能创业的“原创计划”、为国内外青年人工智能研究人员提供学术交流平台的“清远俱乐部”等工作计划或建设成果。

1、100余位顶级人工智能专家、29个专题论坛打造最全面、最前沿的人工智能盛会。

本次会议邀请了国内外人工智能领域的100多位顶尖专家参加,其中包括2018年图灵奖获得者Yoshua Bengio(约书亚·本吉奥)、图灵奖获得者David Patterson、2018年图灵奖获得者Peter Dayan等。

欧洲大脑奖、清华大学国家金融研究院院长朱民博士、北京额维南大学院士、加州大学伯克利分校人工智能统计中心创始人Stuart Russell、Sebastian Thrun、自动驾驶之父、计算可持续性领域先驱卡拉·戈麦斯(Carla Gomes)、艾伦人工智能研究院(AI2)首席执行官奥伦·埃齐奥尼(Oren Etzioni)、微软亚洲研究院副院长刘铁岩、马维英、清华智能产业研究院首席科学家等。

与会专家将就人工智能领域的前沿研究进展和趋势进行深入探讨。

(年度图灵奖获得者 Yoshua Bengio)会议围绕“预训练模型”、“机器学习”、“群体智能”、“人工智能的数学基础”、“智能系统架构与芯片”、“准确度”等议题进行了研讨。

人工智能国际学术前沿和产业热点。

设有“智能”、“智能信息检索与挖掘”、“清远学术年会”、“AI创业”、“AI制药”、“AI系统”、“AI开放共享”、“AI女性”等29个专题论坛在科学技术”。

话题范围非常丰富,从人工智能基础研究、跨界融合到产业应用,为学者、工程师、技术人员提供了交流和激活思想的平台。

在6月1日的开幕式上,图灵奖获得者Yoshua Bengio、清华大学国家金融研究院院长朱民博士、北京大学鄂维南院士围绕逻辑分析系统System2、数据进行了主题演讲。

资产、科学和情报。

报告。

(清华大学国家金融研究院院长朱民博士)(北京大学鄂卫南院士)2、发布全球最大超大规模智能模型“启蒙2.0”,构建我国人工智能战略在大模型时代智源开幕式上,智源研究院院长张宏江介绍了“启蒙”模式发展的背景。

他认为,目前“大模型+大算力”是通向通用人工智能的可行路径。

大型模型对于人工智能的发展具有重要意义。

未来,将基于大模型形成类似电网的变革性人工智能产业基础设施。

AI大模型相当于“发电厂”,将数据即“燃料”转化为智能能力,驱动各种AI应用。

如果把大模型连接到所有AI应用上,为用户提供统一的智能能力,整个社会就会形成一个智能能力生产和使用的网络,这就是“智能网络”。

大模型是下一代人工智能的基础平台,是未来人工智能发展的战略基础设施。

(致远研究院董事长张洪江)目前国际主流的大规模模型主要基于英文语料库开发。

作为人工智能基础设施建设的先行者,致远研究院成立了由致远研究院学术副院长唐杰教授牵头的合资公司。

包括众多科研骨干的“五道”团队,启动了针对中国人的大型智能模型的研发。

“五道”模型体系将打造“大模型、大平台、大生态”,持续研发超大规模智能模型,围绕大规模模型研发构建大规模算力平台,同时对外开放模型能力,为各行业发展“赋能”。

构建大模型生态系统。

今年3月20日,致远研究院发布了国内首个超大规模智能模型“悟道1.0”,训练了汉语、多模态、认知、蛋白质预测等一系列模型。

经过不到3个月的持续更新迭代,《启蒙2.0》实现了更高水平的跨越。

开幕式上,致远研究院学术副院长唐杰教授详细介绍了“启蒙2.0”模式。

他提到,“五道”超大规模智能模型旨在打造数据和知识两个轮子驱动的认知智能,让机器像人类一样思考,实现超越图灵测试的机器认知能力。

“五道”团队在大规模预训练模型开发方面做了大量基础工作,形成了超大规模智能模型的自主技术创新体系。

拥有从预训练理论和技术到预训练工具,到预训练模型构建和最终模型评估的完整链条,技术完整、成熟。

通过一系列原始创新和技术突破,此次发布的“启蒙2.0”实现了“大而智”,具有大规模、高精度、高效率的特点。

(致远研究院学术副院长唐杰)全球最大万亿参数,新一代FastMoE填补了万亿模型的最后一个缺点。

“启蒙2.0”模型参数规模达到1.75万亿,是GPT-3的10倍,打破了此前Google Switch Transformer预训练模型创下的1.6万亿参数记录,是目前中国首个、也是全球第一个。

全球最大的万亿级模型。

FastMoE技术的突破性研发是突破国外技术瓶颈、实现“万亿模式”基石的关键。

过去,由于谷歌万亿模型的核心技术MoE(Mixture of Experts)与其分布式训练框架和定制硬件强绑定,大多数人无法获得使用和研究的机会。

FastMoE由“无道”团队研究并开源,是第一个支持PyTorch框架的MoE系统。

它简单易用、灵活、高性能、支持大规模并行训练。

新一代FastMoE支持Switch、GShard等复杂均衡策略,支持不同专家的不同模型。

它填补了万亿模式实施计划的最后一个缺陷,使梦想成为现实。

“启蒙2.0”模型在总共4.9T的高质量中英文大规模清洁数据上进行了训练。

训练数据包括WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图像和文本数据以及Pile数据集中的1.2TB英文文本数据。

此外,“启蒙2.0”模型统一了文本和视觉两大阵地,支持更多任务,通用性更强。

凭借9大顶级智能能力,创新的通用精准智能“五道2.0”在9项全球公认的Benchmark基准测试任务上取得了优异成绩,实现了精准智能。

1)ImageNet零样本SOTA在同类中超过OpenAI CLIP; 2)LAMA知识检测:超过AutoPrompt; 3)LAMBADA完形填空:比参数微软图灵NLG强大1.7倍以上; 4)SuperGLUE FewGLUE:超越GPT-3,达到目前最好的fewsshot学习结果; 5)UC Merced Land-Use 零样本 SOTA,超越 OpenAI CLIP; 6)MS COCO文本生成图:超越OpenAI的DALL·E; 7)MS COCO英文图文检索:超过OpenAI CLIP和Google ALIGN; 8)MS COCO多语言图文检索:超越目前最好的多语言、多模态预训练模型UC2和M3P; 9)Multi 30K多语言图文检索:超越目前最好的多语言图文检索:语言多模态预训练模型UC2、M3P。

“启蒙2.0”的高精度来自于一系列核心技术创新。

例如:GLM 2.0:是模型架构创新的模型,也是更通用的预训练模型。

此前,它首次打破了BERT和GPT的障碍,开创了兼容所有主流架构的单一模型。

新一代版本是高性能人工智能模型,以少胜多。

拥有一亿个参数,足以媲美微软的一亿参数图灵-NLG模型在多项任务上取得了更好的结果。

P-tuning 2.0算法:大大缩小了少样本学习和全监督学习的差距,少样本学习能力遥遥领先。

CogView:一种从文本生成图像的新框架,克服了文本和图形模型“上溢下溢收敛”的关键问题,结合VQ-VAE和Transformer实现SOTA(当前算法性能最好的模型)! MS COCO FID指标上的表现优于DALL·E等模型。

该模型可以直接实现类似OpenAI CLIP模型的自评分功能,生成国画、油画、卡通画、轮廓画等多种绘画风格。

目前,“启蒙”模式的很多应用,包括诗歌创作、对联制作、文本概括、人物问答、绘画等,都已经接近突破图灵测试,与人类较量!高效易用,提高整个环节的效率,大规模预训练模型的参数规模通常远大于传统专用人工智能模型,消耗大量的计算资源和训练时间。

为了提高大规模预训练模型的行业通用性和易用性,五道团队构建了高效的预训练框架,在高效编码、高效模型、高效训练、高效的微调,高效的推理。

迭代优化实现了效率的大幅提升。

高效编码:开发了最高效、最抗噪声的中文预训练语言模型编码,解决生僻字等问题;高效模型:构建了世界上第一个纯非欧式空间模型,只需要一半的参数数量即可达到近似欧式模型的效果;高效训练:全球首个大规模预训练模型融合框架,形成全新高效训练模型,训练时间缩短27.3%,速度提升37.5%;高效微调:全球首个多类别Prompt微调,仅需0.%的训练参数即可实现下游任务适配;高效推理:全球首个低资源大模型推理系统,单机单卡GPU可进行千亿参数规模的模型推理。

行业贡献,打造全球最大语料库WuDaoCorpora 2.0,提出自然语言评价新标准“智慧指数”和“启蒙”模型。

在开发过程中,智慧研究院构建了全球最大的语料库数据库WuDaoCorpora 2.0,包括全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集,为全球最大的语料库WuDaoCorpora 2.0提供了丰富的数据支持。

行业大规模智能模型研发。

此外,智源研究院提出“智能指数”,以人类语言能力为基础,构建全面、系统的机器语言能力评价体系。

“智能指数”首次提出基于“能力-任务-数据集”层次结构的机器语言评估体系和评估方案,包括6大语言能力、30多个主流任务及相关数据集。

这也是第一次以信息为基础。

集合高质量的评估数据,通过程度、难度、效度等指标进行评估,形成大模型“权威试卷”。

3、“启蒙”模型生态合作机构签约,加速构建基于超大规模智能模型的产业生态系统。

致远研究院推动“启蒙”超大规模智能模式产业生态建设,将针对个人开发者、中小创新企业、行业应用企业、IT龙头等不同主体企业以模型开源、API调用、“专业版”大模型开发、大模型开发授权等多种形式提供模型能力服务,为AI技术研发赋能。

本次大会开幕式上,致远研究院与新华社、美团、小米、快手、搜狗、寒武纪、第四范式、好未来、智浦华章等22家“启蒙”大样板行业合作。

生态战略合作企业签约,包括行业应用企业、IT龙头企业、中小创新企业等。

同时发起组建“五道”大型模型技术创新生态联盟,吸引更多企业加入。

联盟将以企业需求为枢纽,推动模型研发,共同开发基于“五道”大型模型的智能应用。

研发与应用促进产业集聚。

此外,致远研究院还推出“启蒙之巅”模型应用大赛,鼓励各类创新机构和技术人员基于“启蒙”大模型开发新颖实用的智能应用,在不断发现和培育的同时,为行业发展赋能。

基于超大规模智能模型的创新企业推动我市人工智能产业可持续发展。

4.推动人工智能最优生态系统发展,支持北京加快建设具有全球影响力的人工智能创新中心。

开幕式上,智能源研究院院长黄铁军教授从创新研究、学术生态、产业发展和人工智能治理四个方面进行了探讨。

介绍致远研究院工作规划和建设进展(致远研究院院长黄铁军) 创新研究:三大智能模型+智能计算平台 黄院长介绍,致远研究院已确定将打造智能模型为以源头创新为核心任务,在组织架构、资源保障、机制体系等方面进行系统部署,着力打造信息模型、生命模型、物理模型“三剑客”。

第一个是“启蒙”信息模型。

数据是智慧的材料。

通过“大数据+大算力+强算法”训练超大规模信息模型,为各行各业的智能化提供实用可用的通用基础智能模型。

这是当前和未来,人工智能将是全面赋能经济社会发展的中心任务。

然后是“天眼”生命模型:生命是智慧的第一载体。

它模拟亿万年进化的生物神经系统和机体,构建生命智能模型,探索生物智能的机制。

它是发展新一代人工智能的基础。

取之不尽,用之不竭的源泉。

最后是“天道”物理模型:大自然是生命的摇篮,地球是人类的摇篮。

构建地球环境物理模型是实现类人智能、人与机器共存融合的必要条件。

建立宇宙物理模型,推动智慧超越地球,穿越时空。

构建信息模型、物理模型、生命模型,共同的需求就是计算能力。

目前,北京已支持超大规模智能计算平台建设,建成架构先进、高速互联、可扩展、高效并行的软硬件系统。

学术生态:继续实施“GPS学者计划”,成立“清源俱乐部”,为国内外青年人工智能研究人员进行学术交流。

“GPS学者计划”从今年4月开始实施,目标是选拔最优秀的科学家。

勇敢地冒险进入人工智能技术最前沿的“无人区”,挑战最基本的问题和最关键的问题。

截至目前,智元学者人已入选六大研究方向:人工智能数学基础、人工智能认知神经基础、机器学习、自然语言处理、智能信息检索与挖掘、智能系统架构与芯片等。

他们来自北京大学、清华大学、中科院等高校和机构,以及旷视科技、京东等优势企业。

致远研究院持续推进致远社区建设,着力打造人工智能学者社交网络。

今年,致远社区将与学者等100多位人工智能领军人物紧密联系,辐射超过10万名人工智能研究人员和技术人员。

特别是针对青年科研人员,致远研究院今年成立了青年人工智能科学家学术组织“清远俱乐部”,为国内外青年人工智能科学家和技术人员建立宽松、活跃的学术交流平台,促进学科交叉,并支持年轻人。

科学家提出原创、领先的思想,开创新的科学前沿,建立活跃的人工智能学术和技术创新生态系统。

产业发展:推进智慧医疗,实施“源创计划”,支持人工智能创业。

致远研究院加速人工智能深度应用,孵化AI创新企业,推动人工智能产业发展。

目前,医疗健康已成为人工智能最热门的研究和应用领域之一。

北京发展智慧医疗具有得天独厚的优势。

为推动人工智能原创成果在医疗行业落地,致远研究院成立“健康医疗研究中心”,构建医疗大数据和优质小数据等基础数据,支撑核心智慧医疗突破技术,加快人工智能在健康医疗领域的应用。

深入应用。

致远研究院与清华智能产业研究院(AIR)开展深度合作,推动AI驱动的以“个体”为核心的主动健康管理。

为推动人工智能原创成果转化落地,致远研究院去年启动创新中心建设,加速人工智能原创成果的成熟化和工程化。

目前已建立智能信息处理、认知知识图谱、安全人工智能等多个创新中心。

今年,根据国家和北京市推动科技成果转化的最新部署,致远研究院积极整合技术、场景、人才、资金等资源,推出“远创计划”,支持AI创业,开放大模型、数据集等生态资源,为学术界AI科学家创业团队连接应用场景,为工业界创业团队连接业界领先的AI技术,加速形成可落地的AI产品。

此外,通过设立创业基金等方式,加快孵化一批具有国际领先技术能力的人工智能创新企业,为北京人工智能产业可持续发展储备力量。

人工智能治理:推动落实北京共识,促进人工智能可持续发展。

当前,人工智能伦理和治理已成为全球共识。

国际社会正在探索建立广泛认可的人工智能伦理原则,推动敏捷、灵活的人工智能治理。

致远研究院于2016年成立人工智能伦理与可持续发展研究中心,在国内率先开展人工智能伦理与安全研究,并积极参与国际人工智能治理。

在人工智能伦理方面,2019年5月,我国首个人工智能发展和治理指南——《人工智能北京共识》发布。

去年9月,我国首部《面向儿童的人工智能北京共识》上映。

此外,致远研究院还打造了我国首个“人工智能治理公共服务平台”,为人工智能技术研发和应用中潜在伦理问题提供检测服务,帮助AI研发机构开发符合国家标准的技术和技术。

更符合AI伦理。

产品。

联合国于2017年正式通过可持续发展目标,共有17个主要目标,涵盖社会、经济和环境发展问题。

为推动人工智能技术服务可持续发展目标实现,致远研究院发起成立“人工智能促进可持续发展国际合作网络及智库”,目前已汇聚学者等15个国家的专家。

同时,致远研究院还联合百度、小米、旷视、滴滴等企业推出“可持续发展公益计划”,目前重点关注城市治理、自动驾驶、工人生活影响等领域。

就业和青少年的心理影响。

首批4个研究课题发布并启动研究工作。

未来,完成的研究成果将向世界公开,服务于人类命运共同体的建设和实现。