VEGA是华为Noah的ARK Lab的完整过程Automl算法集合,它提供了基本功能,例如架构搜索,超级优化,数据增强和模型压缩。全堆AI解决方案Cann+ Mindspore。一些简单的测试表明,与GPU相比具有很大的优势,预计下一个版本的Vega将为Davinci提供支持。
作为研究人员和算法工程师的量身定制的自动机器学习工具,Vega于2019年12月在华为发行,支持诺亚中多个团队的自动化(计算愿景,建议搜索和AI基础研究)。算法,相关AI顶部的20+算法输出(CVPR/ICCV/ECCV/AAAI/ICLR/NIPS)。以下是此开源源代表性自动算法的简介:
在不同的应用程序场景中,计算资源限制是不同的,因此对搜索结果有自然需求。加法,尽管基于进化算法的NAS方法已经达到了良好的性能,但每一代样本都需要进行繁重的培训才能进行繁重的培训才能评估,这极大地影响了搜索效率。本文考虑了现有方法的缺乏,并提出了基于连续进化的多目标高效神经网络结构搜索方法(CAR)。卡车维护最佳模型解决方案和最佳模型解决方案和使用一个集中的模型来更新超级网络中的参数。在每个演化算法中的下一个代人总体的过程中,网络的参数可以直接从超级网络继承,从而有效地提高了进化效率。卡车可以可以。获取一系列不同的尺寸和准确性模型,以便用户根据资源选择相应的模型CVPR2020中发布的相关工作中的e约束:arxiv.org/abs/1909.04977。
诺亚(Noah)提出了一种轻巧的超级 - 平地网络结构搜索算法,该算法从三个角度开始:频道,卷积和特征性量表以构建有效的超级记录网络基本模块。该算法基于有效的模块,具有模型的参数,计算,计算数量和模型的准确性,并使用多目标来优化对轻量级超级秒网络结构的进化算法搜索。该算法可以从三个角度全面地压缩超速网络的冗余:卷积,卷积和特征性规模。在相同的数字或计算量的情况下,该算法搜索的轻质超级网络(ESRN)已获得手动测试集的网络结构(set5,set5,set14,b100,urban100)(Carn100)(Carn等)(CARN等)另外,算法还可以减少确保算法准确性达到DE的前提的计算量移动设备的外行和功率约束。相关论文于2020年发表:www.aaai.org/papers/aaai/2020gb/aaai-songd.4016.pdf。
现有的目标检测模型可以分解为几个主要部分:骨干(骨干),特征融合网络(颈部),RPN和RCNN头。每个部分可能具有不同的模块和结构设计。如何权衡不同组合的计算成本和准确性是一个重要问题。现有的NAS方法(NAS-FPN,DETNAS等)的目标检测仅着重于寻找单个模块的更好设计,例如骨干网络或特征融合网络,而忽略了系统的总体考虑。为了解决此问题,在本文中,我们提出了一个两阶段的搜索策略,从结构化到模块化神经网络,称为结构到模数NAS(SM- nas)。特别是,在结构化阶段对模型体系结构进行粗略搜索,确定当前任务的最佳模型体系结构(例如使用单个阶段检测器或双阶段检测器,使用了哪种类型的骨干),并与图像大小的iTenter匹配;模块化搜索阶段将对骨干模块进行详细的结构调整,以进一步提高模型性能。在搜索策略中,我们采用了进化算法,并认为是模型效率和模型性能的双重最佳最佳。使用非主导分类来构建帕累托方面,以获得一系列网络结构,以实现多个目标的最佳网络。此外,我们探索了一种有效的培训策略,使网络能够达到比没有预处理的更快的收敛速度Imagenet预处理,从而更快,准确地评估任何主链的性能。在可可数据集中,我们搜索的模型在速度和准确性方面具有重要的领先传统目标检测体系结构。例如,我们的E2模型从更快的RCNN增加了一倍,MAP达到40%(增加1%);我们的E5模型类似于MaskRCNN的速度, 地图可以达到46%(增加6%)。在AAAI2020中发布的相关工作:arxiv.org/abs/1911.09。
我们使用神经网络结构搜索(NAS)技术来自动设计主要任务网络之间的差距,以满足机密任务和检测任务之间的差距。常见的深度学习对象检测器通常使用骨干网络来设计和培训Imagnet分类。任务。现有算法DETNA将搜索和检测主要网络的主要网络的问题转变为预培训的超级网络,以选择最佳的子网络结构。在结构结构中,搜索空间很小。我们希望通过NAS算法设计一个灵活且面向任务的检测主网络:提出了一种称为SP-NAS的两阶段搜索算法(串行到并行搜索)。串行搜索阶段旨在通过“交流NGE,扩展,专注于火灾“搜索algorithm.search并组装几个子结构,并以前生成的主网络为更强大的并行结构。结果,即公开测试排名中的第一名的最高表现,即EuropityPersons的公开检测列表(LAMR:0.042);准确性和速度比Detnas和autoFPN.CVPR2020:OpenAccess.theccess.theccvf优于detnas和autofpn。。
为了从给定的数据集中提取重要功能,深度神经网络通常包括大量训练的参数。一方面,大量的培训参数可以增强深层网络的性能。另一方面,它们带来了过度拟合问题。为此,在训练阶段将禁用基于辍学方法的输出特征图中的某些元素,以减少神经元的常见适应性。尽管这些方法可以增强模型的概括,该模型,基于的,这是基于基于的。关于是否丢弃元素,不是最好的解决方案。因此,我们研究了拉德马赫(Rademacher特征图中的元素通过探索概括误差替换为特定值。示例已证明,在多个图像数据集中,我们提出的功能图干扰方法具有更高的测试精度。相关的工作于2020年AAAI:arxiv.org/abs/2002.11022。
这种算法认为是解决自动数据扩增(AA)方法本身的某些缺点。AA搜索整个数据集的最佳数据增强策略,尽管从全球角度来看,AA可以使数据更加差异化并使其变得更加差异化并使其变得更加差异最终模型性能更好;但是,对图像进行了优化,因此将有一定的防御线。当数据增强强度相对较大时,很容易将语义混乱带到某些图像(即,由于过度消失而改变了图像的图像语义,。通过预先训练的模型。图像的最佳标签应该是什么?该算法简单有效。与大型模型结合后,当前的最佳性能为85.8%。相关论文在ECCV 2020:arxiv.org/上发布:ABS/2003.11342V1。
在特定图像增强任务(例如),因为很难在真实场景中获得配对数据,因此大多数学术界都采用合成形式的数据对进行算法研究。但是,该算法模型在实际场景中的性能通常很差。为了解决上述问题,我们提出了一种新颖的算法:该算法使用低质量的图像作为桥梁,并通过无监督的图像转换完成了合成图像域到真实场景图像域。转换的图像的转换为该算法用于监视训练图像增强网络。该算法足够灵活,可以集成任何无监督的转换模型和图像模型。该方法可以通过联合培训图像转换网络和监督网络实现更好的质量减少学习和超级尺寸的性能。拟议的方法在NTIRE 2017和NTIRE 2018的数据集上取得了良好的性能,甚至可以与监督方法相提并论;AITA-NOAH团队在NTIRE2020现实世界中的超级分辨率竞赛中采用了此方法,并在Track1get中采用了IPIPS和MOS指标的第二个结果。
相关论文发表在CVPR 2020年NTIRE研讨会上。
该技术自动压缩神经网络,从多个指标开始,例如识别精度,计算,存储量和压缩模型的工作速度。它使用多个目标来优化进化算法并压缩神经网络混合和稀疏修剪。搜索每一层最佳压缩超级参数,并获得一个非势溶液集,其中包含具有出色性能的几个压缩模型,可以满足用户的不同性能。对不同指标的需求。此技术适用于高性能云服务器和计算性能较弱的移动设备。对于高性能云服务器,它们可以在一定范围内提供具有高算法精度以及计算和内存消耗的模型。对于移动设备,它们可以确保算法精度的准确性。降低计算和内存消耗以满足移动设备的延迟和功率约束。
KDD 2018中发布的相关论文:www.kdd.org/kdd2018/accepted-papers/view/towards-evolutionary-compression。
此开源版本的初步和稳定版本将在将来继续添加前沿算法,以增加对新算法和Davinci的支持。开源地址为:github.com/huwei-noah/vega,请尝试和反馈。
Vega具有以下优势:
最后,Vega提供了大量的示例文档,以帮助开发人员快速启动。有关完整的中文和英语文档,请参阅Github。