当前位置: 首页 > 科技观察

华为全场景AI计算框架MindSpore开源!

时间:2023-03-17 22:15:57 科技观察

华为MindsporeAI计算框架正式开源,标志着华为在AI梦想上迈出了新的一步,又迎来了深度学习开源领域的重量级玩家。全场景适用,端云边协同,低门槛开发,高效分布式并行计算,MindSpore将为AI领域带来怎样的革命?一家以硬件起家的公司,进入AI领域后,还专门挑硬骨头。一开始他们做芯,做了10年,一投4000亿,诞生了我们熟悉的天罡、麒麟、升腾等芯片。如今他们在做AI框架,想降低AI开发的门槛,让开发者轻松移植代码,实现全场景按需协同。这背后,只有一个目的:万物互联。是的,那家公司就是华为。距离2018年10月10日华为轮值董事长徐直军在华为全联接大会上宣布MindSpore已经一年多了。一年多前,华为让大家知道,世界上将出现一颗冉冉升起的新星人工智能框架;一年多后的今天,华为MindSpore首席科学家陈磊宣布,国内首个全场景AI计算框架MindSpore正式开源!如此简单易用的框架将于4月正式开启公测,届??时开发者将能够亲身体验。MindSpore问世:在2万亿美元的蓝海中为华为保驾护航华为副董事长胡厚昆曾在华为全联接大会上表示:“我们面临着2万亿美元的计算产业蓝海。”目前华为已经具备了在这片巨大蓝海中航行的硬件基础,下一步就是在软件上进行跟进。然而,海是波涛汹涌的。第一场风暴是技术战和贸易战,所以华为必须有一个自主可控的全场景计算框架来抵御这场可以翻船的风暴。第二波是当前的计算框架存在开发门槛高、运行成本高、部署难等问题需要解决。作为华为开源的支持端到端、边到云场景的深度学习训练和推理框架,MindSpore的诞生就承载着这个时代不该有的使命。说白了,MindSpore目前主要应用于计算机视觉、自然语言处理等AI领域。可为数据科学家和算法工程师提供设计友好、高效的开发体验。协同优化问题。从广义上讲,其战略意义在于构建全球人工智能开源社区,促进人工智能软硬件应用生态的繁荣发展。强大的核心特性,助力高效实战开发开发者只需掌握张量(Tensor)、算子(Operator)、单元(Cell)、模型(Model)四个基本概念和Python编程基础,即可使用MindSpore提供的高级API用于实际开发。陈磊介绍了Mindspore关键特性路线图的变化,并承诺将根据开发者的需求不断完善Mindspore,努力满足开发者最关心、最核心的需求。接下来,让我们看看MindSpore的核心功能。自动微分目前主流的深度学习框架主要有三种自动微分技术:在编译时将网络转化为静态数据流图(TensorFlow),对静态图进行自动微分;数据流图通过记录算子重载(PyTorch)动态生成,用于动态图的自动微分。MindSpore则采用通用的基于源代码转换的自动微分:以即时编译(JIT)的方式对中间表达式(程序在编译时的表达形式)进行自动微分转换,以及支持while/if/for等复杂控制流结构,支持高阶函数、闭包等灵活的函数式编程方式。自动并行MindSpore自动并行可以使用串行算法代码自动实现分布式并行训练并保持高性能。分布式并行训练的范式包括数据并行、模型并行以及由这两种范式组合而成的混合并行。MindSporeAutomaticParallel采用全新的分布式并行训练模式,集数据并行、模型并行和混合并行于一体。高效的数据处理MindSpore中的MindData负责完成训练过程中数据的流水线处理,包括数据加载、数据增强、导入训练,并提供简单易用的编程接口和丰富的数据处理能力,覆盖全场景。作为CV/NLP。MindData提供了c_transforms模块和py_transforms模块用于数据增强,用户也可以自定义算子进行数据增强。高效的图执行引擎MindSpore的图处理操作在纵向上分为三层,即执行控制层、业务功能层和数据管理层。水平扩展分析可以细分为六个主要步骤,即图准备、图分裂、图优化、图编译、图加载和图执行。通过以上图操作,MindSpore图引擎可以将前端下发的图转化为可以在升腾硬件上高效运行的图模式。深度优化模型市场MindSpore计划在2020年Q4提供30+深度优化模型,供开发者直接使用。此外,MindSpore还提供了可视化工具,可以将单次训练过程可视化,多个训练模型溯源,帮助开发者快速发现模型训练过程中的问题。超前设计理念、低门槛的分布式全场景MindSpore的推出,正是基于华为对行业痛点的深刻洞察,即AI研究与应用之间存在巨大差距。为了弥合这一差距,MindSpore提出了三大设计理念。新的编程范式基于数学原生表达的AI编程新范式,让开发者专注于AI创新和探索,一行代码实现自动搜索并行策略,无需关注底层即可实现并行建筑学。新的执行模式On-Device卸载并执行整个图像,并对深度图像进行优化以充分利用计算能力。与竞争对手相比,Resnet50图像分类在MindSpore上的训练时间减少了23%,Bert中文预训练时间减少了62%,大大缩短了训练时间。与MindSpore的全场景按需协同,实现了一套框架,端-边-云,全场景部署。一次性开发可以在多处高效执行,开发部署效率直线上升。全面服务于开发者、高校、开源社区,制定有针对性的扶持计划。华为知道,开发者、高校科研、开源社区是整个生态中最关键的角色。华为为三个不同的群体提供了非常具体的定制支持计划。对于开发人员,提供:在线免费资源。全年举办不少于10场技术沙龙。MindSpore开发者竞赛。对高校,提供:专项创新基金,鼓励MindSpore教学支持。对于开源社区,提供:聘请顶尖专家入驻社区,招募committer参与社区核心项目。欢迎企业和组织参与社区建设。MindSpore刚刚起步,前景看好。不练假动作只能说说而已。MindSpore的应用前景,只有在经过市场检验后才能知晓。也许您已经享受了MindSpore带来的好处,只是您自己没有意识到而已。比如荣耀、NOVA等系列手机的销量,都是MindSpore的成功商用案例。