2020年我们该选择哪个深度学习框架？现在有一个新的选择。据可靠消息，旷视Brain++核心深度学习框架将于3月底开源。旷视科技将以开源、开放的形式，将其强大的计算能力、丰富的SOTA模型和框架资源，提供给所有开发者和高校师生。这个完全由国人自主研发、曾经支撑旷视科技所有领先技术的框架，势必会引起广泛关注。在介绍MegEngine之前，我们不得不先介绍一下旷视科技的人工智能算法平台Brain++。旷视科技首席科学家、旷视研究院院长孙健曾表示：“旷视Brain++让大规模算法训练成为可能。”简单理解，拥有可以量产算法的Brain++，对旷视科技来说是生产力的飞跃。让旷视科技的开发者从创业时期快速走上现代化进程。旷视Brain++大体上可以大致分为三个部分，其中以即将开源的深度学习算法开发框架MegEngine为核心，其次是提供算力调度支持的深度学习云计算平台MegCompute，以及用于提供数据服务和数据管理的管理平台MegData。以计算机视觉起家的旷视之所以能够快速发展，并屡屡在AI竞赛中杀出名次，其背后的玄机在于：旷视通过Brain++实现了算法创新和自给自足的小步快跑。其成功的最根本原因在于旷视的核心框架效果确实非同凡响。然而，在各家厂商不断开源AI工具的今天，旷视将其“杀手锏”推向整个社区，究竟是出于怎样的考虑？这还要从深度学习框架的开发说起。国产深度学习框架之路什么是框架？也就是前人已经开辟了一条路，后来者只需要顺着这条路走就可以了。众所周知，人工智能已经风雨飘摇了60多年。正是深度学习的出现，将人工智能产业的发展曲线带到了一个新的拐点。然而，早期的开发者并没有任何“前人之道”可循。在深度学习的初期，像Theano这样的老牌框架指导我们编写了第一批强大的神经网络；然后TensorFlow等后继者让神经网络的编写逐渐变得像搭积木一样简单。深度学习的第一批探路者很多都是海外知名学者，他们所依赖的深度学习框架大多是由海外开发者创建和维护的。从蒙特利尔大学和伯克利大学提出的Theano和Caffe框架，到谷歌和Facebook维护的TensorFlow和PyTorch，深度学习框架的主流已经从学术机构转向科技巨头。既然框架基本都是开源的，那么国内的科技公司还需要开发新的吗？答案是肯定的，DL框架之所以从大学转移到企业，是因为AI从来不局限于象牙塔里的知识，而是必须面对真实场景的问题；因为它们可以用于生产，可以用于各种实际情况。商业。目前，中国有很多领先的科技公司，它们都有独特的业务场景和问题。这为开发独立的深度学习框架，构建更加完善的硬件和算法体系提供了契机。百度开源的PaddlePaddle在自然语言处理等方面有着优秀的积累；华为即将开源的Mindspore强调了软硬件协同和移动端部署的能力。开源工具的选择就像是“什么是最好的计算机语言”的问题。开发人员有自己的喜好，也有自己的不足。从目前的情况来看，PyTorch和TensorFlow无疑是最受欢迎的。积极发展。然而，作为全球领先的计算机视觉技术创业公司，旷视研究院从未将TensorFlow或PyTorch用于AI技术和产品研发。因为在旷视刚成立的时候，AI开发工具还很匮乏。旷视在开拓的过程中形成了自己的打法，创造了一套自己可以轻松上手的工具。2014年，旷视研究院打造了Brain++的核心引擎——MegEngnie，并在公司内部推广使用该算法框架。随着旷视科技在大量计算机视觉任务和业务场景的积累，这套深度学习框架在旷视科技得到打磨。旷视科技拥有1400多名开发人员，他们正在使用自己的框架进行训练和部署。算法，即使有新同学加入，也能快速学习上手，融入旷视的研发生态。旷视深度学习框架MegEngine整体架构据了解，依托这个贯穿公司整个研发流程的框架，旷视开发了一系列可部署在云端、边缘和移动端的深度神经网络。其中，对业界影响较大的ShuffleNet是一套极其高效轻量级的移动端卷积神经网络，在基于ARM的移动设备上可以比AlexNet快20倍，比谷歌的MobileNet更高效.要高大。如今，旷视MegEngine已经经历了5年多的打磨。基于深度学习框架，旷视科技将这套AI开发工具升级为一套工具，将数据管理和计算资源规划与框架整合为一个平台——Brain++由此诞生。至少对于旷视来说，这个三位一体的算法平台是提升AI企业生产力的基础。正是凭借这样端到端的解决方案，旷视科技屡屡在全球各类人工智能大赛中夺冠。2017-2019年，旷视科技一举拿下COCO三连冠。COCO是人工智能领域最具影响力的通用目标检测挑战赛，在计算机视觉领域享有盛誉。旷视生产力平台的高效易用，源于实践。根据业务的真实需求构建框架，是一种比较实用的开发方式。国内各大独立AI框架都在积极探索方向。对于开发者来说，根据自己探索的结果，做出最适合国内业务场景的算法。正因为自主AI框架意义重大，旷视等企业的努力也得到了国家的支持。2019年8月，在WAIC人工智能大会上，旷视科技、华为、京东、中国平安、小米等企业入选国家人工智能开放创新平台。在图像感知方面，科技部宣布将基于旷视科技自主研发的人工智能算法平台Brain++及其集成能力，建设“国家新一代图像感知人工智能开放创新平台”。在云、移动和边缘计算平台上部署神经网络。快捷方便，MegEngine正在从自用走向开源。根据自用体验，MegEngine内部研发人员介绍，MegEngine架构先进，支持训练推理一体化。开发者可以用最新的技术、最合理的API、最好的展示方式来实现自己的想法，在性能、易用性等方面具有独特的特点。目前，旷视MegEngine主要支持旷视内部的算法开发工作，尤其是计算机视觉的深度优化和大规模分布式训练。经过5年的产业实践和“百赛”的验证，旷视MegEngine逐渐走向成熟，一些独有的特色也逐渐凸显。首先，在计算速度上，MegEngine拥有高性能计算核心，动静态内存优化机制结合更快的计算速度，占用更少的内存资源；其次，在易用性方面，MegEngine封装了平台细节，接口兼容PyTorch，新手用户也能快速上手；最后，MegEngine还支持多硬件平台和异构计算。整个框架可以同时用于训练和推理，实现一次性模型训练和多设备部署，可以避免不必要的转换过程导致的性能下降和精度损失。除了上述性能外，MegEngine据说还专门针对物联网和视觉任务进行了优化，并支持广泛的芯片。领先的量化计算支持，通过统一的量化模型支持多种设备，同时支持8bit以下的网络推理。坐稳计算机视觉巨头和AI独角兽位置的旷视科技，在AI行业一路披荆斩棘。现在他们希望以开源和开放的方式，用他们得心应手的开发工具回馈后代，帮助高校师生、传统行业和中小企业在人工智能算法的开发中得到应用，以期降低传统行业和人工智能技术融科门槛，激发更多人参与人工智能生态建设。根据埃森哲近期发布的《人工智能:助力中国经济增长》报告，到2035年，人工智能有望将中国经济的年增长率从6.3%提高到7.9%。未来，人工智能将助力经济发展，在这个过程中，我们将掌握越来越多的自身核心技术。MegviiMegEngine的开源可能是一个开始。
