当前位置: 首页 > 科技赋能

百度王海峰:深度学习推动人工智能进入工业量产阶段

时间:2024-05-20 02:14:03 科技赋能

深度学习正在迎来高光时刻。

4月23日,首届WAVE SUMMIT深度学习开发者峰会在北京召开。

千余名“慕名而来”的开发者与AI专家、学者一起见证了中国首个真正的深度学习开发者盛会。

会上,百度资深副总裁、深度学习技术与应用国家工程实验室主任王海峰表示,“深度学习推动人工智能进入工业量产阶段,深度学习框架是智能时代的操作系统” ”。

他认为,深度学习技术具有很强的通用性,正在推动人工智能进入工业量产阶段,呈现出标准化、自动化、模块化的特点。

深度学习框架将芯片和大型计算机系统与各种商业模式和行业应用连接起来。

它是智能时代的操作系统。

PaddlePaddle全景首次曝光11项新功能和服务,并推出重大版本。

作为最早研究深度学习技术的公司之一,百度早在2016年就成立了全球首个深度学习研究院。

经过沉淀和积累,百度PaddlePaddle于2016年正式开源,成为中国首个也是目前唯一的端到端深度学习研究院。

国内开源、功能齐全的端深度学习平台。

2017年,经国家发改委批准,百度牵头成立国内唯一的深度学习技术及应用国家工程实验室。

百度在深度学习领域的实力可见一斑。

核心技术是国家的重要武器。

开源三年的PaddlePaddle在深度学习开发者峰会上交出了出色的“成绩单”。

百度深度学习技术平台部总监马彦军首次公布PaddlePaddle全景图,这是一个端到端的开源深度学习平台,集成了核心框架、工具组件和服务平台,包括支持真实场景的模型应用并达到工业级应用效果。

、面向大规模数据场景的分布式训练能力、支持多种异构硬件的高速推理引擎等。

此次发布了11个新功能和服务,包括PaddleNLP、视频识别工具集、Paddle Serving、PaddleSlim、 AutoDL Design 和其他用于深度学习开发、训练和预测的“硬通货”。

现场还公布了“亿元”AI Studio算力扶持计划,并首次公布了PaddlePaddle的中文名称。

马彦军表示,“百度为大家提供的不仅仅是一个深度学习框架,而是一整套紧密相关、灵活组合的工具组件和服务平台,覆盖所有初级工程师、零算法基础工程师、算法工程师、研究人员。

”平台功能覆盖更齐全,覆盖的用户更全面,各部分整合更顺畅。

首先,核心框架层开放了从开发到训练到预测的一整套能力。

在发展过程中,PaddlePaddle开源了超过60个经过真实业务场景验证的官方模型,涵盖视觉、NLP、推荐等核心AI技术领域,是官方支持模型最多的深度学习平台。

新发布的PaddleCV和业界首个视频识别工具集。

PaddleNLP是面向工业应用的中文NLP工具集,通过一组共享的骨架代码实现了自然语言处理领域的多种模型,可以减少开发人员在开发过程中的重复工作。

拥有业界最好的中文语义表示模型和基于用户大数据训练的应用任务模型。

该模型来源于行业实践,达到了行业级的应用效果。

视频识别工具集的第一个主要版本为开发人员提供了视频理解、视频编辑和视频生成等一系列任务。

开启7个经典视频分类模型。

这些模型共享一组配置文件和一组用于数据读取和评估的代码。

它们涵盖了视频识别方向的主流领先型号,并且还可以实现一键式的效率。

配置用于训练和预测。

在训练过程中,大规模分布式训练主要从三个方面进行了升级。

首先,多机多卡的全面高效支持,提高了速度;其次,在CPU应用场景方面,针对大规模稀疏特征,设计并开放了大规模稀疏参数服务器,开发者可以方便地下载相关图像进行使用;大规模分布式 此类训练支持在各种容器上高速运行,也支持在K8S生态中使用PaddlePaddle进行训练。

数据处理方面,优化了分布式IO,增加了远程文件系统流式读取能力。

GPU多机多卡同步训练,通过增加稀疏通信能力,提高带宽不敏感的训练能力。

在低带宽网络环境下,例如10G网络,同步训练可以加速10倍。

经过开发和训练后,将模型部署到各种应用场景是非常关键的一步。

部署过程需要高速推理引擎。

在此基础上,往往需要进行模型压缩,以便部署在更多的硬件上。

在实际使用中,还需要软硬件综合能力的支持。

基于此,PaddlePaddle准备了完整的端到端全流程部署解决方案,并将持续扩展对各类硬件的支持。

基于多硬件支持,PaddlePaddle提供了性能全面领先的底层加速库和推理引擎。

新发布的Paddle Serving支持服务器端快速部署。

不仅如此,模型体积压缩库PaddleSlim也是为开发者准备的“大惊喜”。

对于本来就很小的MobileNet模型,在不损失模型效果的情况下,仍然可以实现70%以上的体积压缩。

灵活性、高效性和易用性是PaddlePaddle如此受欢迎的重要原因。

在众多的新发布和重大升级中,工具组件的表现尤为突出。

此次,PaddlePaddle不仅开源了AutoDL Design、升级了PARL,还首次提出并发布了预训练一站式管理工具PaddleHub。

传统神经网络的结构设计是人们根据经验进行设计,不断调整和训练参数以获得最优结果。

这个过程复杂、耗时、耗力。

AutoDL Design的自动化网络结构设计利用深度学习来设计深度学习。

现在已经完全超越了人类专家设计的网络效应。

升级后的强化学习工具PARL在算法覆盖、高性能通信、并行训练等方面做了很多支持和扩展。

PaddleHub是一款简洁易用的预训练模型管理工具,提供预训练模型管理、一键命令行使用、迁移学习三大功能。

开发者只需10行代码即可完成模型迁移。

百度投入1亿元免费算力,为开发者打破算力束缚。

大数据、大模型、大算力是深度学习发展的必备因素,算力的重要性不言而喻。

百度投入1亿元免费算力,帮助普通开发者突破算力限制。

马彦军宣布,百度一站式开发平台AI Studio启动算力支持计划。

“我们提供总计1亿元的免费算力,帮助开发者成功。

”据介绍,免费算力主要有两种模式提供。

第一种是一人一卡模式。

V的训练卡包括16G显存和高达2T的存储空间。

另一种是远程集群模式。

PaddlePaddle提供高性能集群供开发者免费使用。

深度学习的标准化、自动化、模块化,推动人工智能进入工业量产阶段,进一步为产业升级提供了有力的“助力”。

基于北京林业大学研发的信息素诱捕器智能昆虫监测系统PaddlePaddle,研究对象为红甲虫。

该检测系统的应用,大大降低了害虫监测的人力成本。

以前手动检测需要一周的工作量,现在自动检测一个小时就可以完成。

中科院遥感与数字地球研究所应用PaddlePaddle Faster R-CNN模型,结合特征提取网络VGG16和Region Proposal Network(RPN),以及整合注意力机制的Deeplab v3网络,对遥感图像进行目标检测和语义分割。

这使得能够提取主要项目目标和建设用地变化模式。

协助国家监测重大项目用地扩容和变更情况,有效管控土地资源使用。

深度学习的发展一方面需要技术的不断创新和突破,另一方面需要构建完整、健康的生态系统。

高校方面,百度提供深度学习师资培训,通过协同教育专项基金和AI Studio教育版培养深度学习领域的高校人才;在开发者社区,PaddlePaddle提供免费在线课程、免费算力支持、不间断的竞赛互动,持续推动深度学习技术的发展;企业方面,不仅控股黄埔研究院,还发布“AI快车道”计划和AI技术生态扶持计划,有望深度扶持AI企业。

此外,在本次大会上,百度还为开发者精心打造了一个深度学习“江湖”。

不仅有传授深度学习“武功秘笈”的公开课程,还有一个具有“实战技巧”的开发者市场,一次性满足深度学习开发者从“心机”到“面授”的需求讨论”。

此次由千余名开发者组成的深度学习开发者峰会,必将在国内掀起前所未有的深度学习浪潮,加速深度学习技术的发展和产业应用,也必将成为历史上不可磨灭的印记。