当前位置: 首页 > 科技赋能

百度王海峰:文心加飞桨,飞向星空

时间:2024-05-19 17:01:49 科技赋能

8月16日,由深度学习技术与应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会在北京召开。

百度首席技术官、深度学习技术与应用国家工程研究中心主任王海峰发表主旨演讲。

王海峰首次表示,大语言模型具备理解、生成、逻辑、记忆等人工智能核心基础能力,带来通用人工智能的曙光。

飞桨开发者数量已达1万人,模型数量突破80万个。

WAVE SUMMIT 深度学习开发者大会于 4 月开始。

王海峰在首次会议上提出,深度学习具有很强的通用性,具有标准化、自动化、模块化工业量产的特点,推动人工智能进入工业量产阶段。

四年来,深度学习技术和应用的发展充分验证了这一观点。

深度学习技术的用途越来越广泛,深度学习平台的标准化、自动化、模块化特征越来越凸显。

大型预训练模型的兴起进一步拓展了人工智能应用的深度和广度。

人工智能已进入工业化量产阶段。

标准化方面,框架和模型联合优化,统一适配多种硬件,应用模型简单高效,大大降低了人工智能应用门槛;在自动化方面,从训练、适配、到推理部署,提高了整个人工智能研发流程的效率;模块化另一方面,丰富的工业级模型库支撑人工智能在广泛场景下的便捷应用。

据了解,得益于Fei Paddle工业级深度学习开源开放平台与文心大模型的相互促进,Fei Paddle的生态日益繁荣。

基于飞桨,聚集了数万名开发者,服务了22万家企事业单位,创造了80万人。

模型。

王海峰解释了飞桨开发者社区AIStudio中文名“银河社区”的寓意,“怀着一颗真诚的心,一把飞桨,我们就能飞向星空”。

我们将与所有开发者一起,在飞飘和文心的支持下,共建银河社区,走向通用人工智能的星海。

大语言模型带来了通用人工智能的曙光。

王海峰表示,人工智能具有多种典型能力,其中理解、生成、逻辑、记忆是最核心的基础能力。

这四种能力越强,就越接近通用人工智能。

语言模型具备这四种能力,带来了通用人工智能的曙光。

具体来说,人工智能的典型能力,如创造、编程、解决问题、规划等,都依赖于理解、生成、逻辑、记忆等核心基础能力,存在不同程度的依赖。

以解题为例,从读题、解题到最后写出答案,需要综合运用理解力、记忆力、逻辑力和生成能力。

如何获得这些能力?以闻心一言为例,我们首先通过万亿级数据和千亿级知识的融合学习得到预训练的大模型。

在此基础上,我们采用了监督微调、人类反馈强化学习和提示等技术,具有知识增强、检索增强和对话增强等技术优势。

此外,通过多种策略优化数据源和数据分布、基础模型长文本建模、多类型多阶段监督微调、多任务自适应监督微调、多层次多粒度奖励模型等其他科技创新,综合提高基础综合能力。

在检索增强和知识增强的基础上,通过知识点增强来提高对世界知识的掌握和运用;通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合、符号神经网络等方式提升逻辑能力;通过构建数据、内容、模型和系统安全的全面安全体系,保障大模型的安全。

效率方面,通过Fei Paddle的端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化,文心大模型的训练速度达到了3倍,推理速度达到了以上30次。

应用方面,采用数据驱动、即时构建、插件增强等方式进行场景适配和协同优化。

文心一言推出了百度搜索、浏览文档、E字易图、说图解画、易经流影五大插件,使模型能够生成实时准确的信息、长文本摘要和问题和答案、数据洞察和图表制作,基于创建图片、问答和创建视频的能力。

插件机制扩展了大模型的能力,更适应场景需求。

王海峰表示,未来,百度将与开发者共建插件生态系统,共享技术创新成果。

以大语言模型为代表的人工智能正在渗透到千行百业,加速产业升级和经济增长。

在此过程中,技术创新与应用实现形成良性循环,理解、生成、逻辑、记忆等能力不断提升,工业应用的广度和深度不断拓展,大语言模型带来通用人工智能的曙光。

智力。