2018年9月,Cann 1.0 Huawei Shengteng AI Enable平台诞生了;
2020年8月,发布了Cannn 3.0版本。作为专门针对AI场景的异质计算体系结构,建立了上层深度学习框架和基础AI硬件平台的桥梁。智能计算吸引力。
在过去的一年中,Cann与200多个大学/科学研究机构合作,继续促进AI科学研究的进步。
在Cann建筑的祝福下,具有1000亿参数的Pangu AI模型带来了前所未有的商业价值。
尚腾社区的开发商数量从100,000增加到40万,以及生态营的迅速发展...
2021年12月,Cann5.0版本也将正式与您会面。通过软件和硬件,它将通过软件和硬件进行优化。此版本将使训练表现增加一倍,并以实力在AI领域显示“中国速度”!
先放几个鸡蛋,让所有人首先看到它!
与3.0版相比,Cann5.0在典型推理方案中可以提高30%至140%。大型群集训练和常见模型培训可以达到双重性能;
Cann 5.0性能背后的关键技术是什么?
在启动时计算长的数据加载操作将阻止以下流程的启动速度。手机充电功率为20%,这同样不可接受。
CANN 5.0加载计算指令和数据以实现多流平行的平行。该优化允许用户对加载数据进行分割。当加载数据符合分段数据量时,随后的计算逻辑被激活。随后的段数据加载并且流动水是免费的,依次激活以下计算,并且将为多方提供全面播放- 尚腾AI处理器的容量可以实现无缝流动的水连接。
随着越来越复杂的网络结构,内部和外部的数据存款和处理,以及与多数值相对应的多层建筑带来的绩效费用变得越来越不同。
CANN 5.0根据3.0识别更多的融合方案,通过多手动自动融合减少计算节点的数量,并有效地减少存储器副本;并通过灵活和定制的Fusion uluswin为开发人员提供更多计算性能收入。
在大尺度的集群训练方案中,通常需要数千个迭代计算,并且每次迭代都包含两个方向上的层 - 层次反馈计算。
大多数同步更新算法要求。在计算下一轮迭代之前,需要将计算节点与梯度数据同步以完成权重更新。这将导致两轮迭代之间的等待差距,即通信尾巴。
CANN 5.0通过智能梯度分割算法,自动搜索最佳梯度参数分割方法,选择适当的通信时间和梯度传输的通信时间和通信量,最大化计算和通信数据包执行,并最小化通信时间,可以促进集群群集集群。训练以实现最佳性能。
就像我们不能指望统一的美容相机会改变无与伦比的美丽一样。同样,对于不同的网络,如果您使用简单的数据切割策略,则通常会导致计算单元无法满足,并且性能无法达到期望。
CANN 5.0通过智能数据切割技术,Cann为网络定制了最佳的分区策略,实现了单个计算单元的完整负载计算,并充分利用硬件资源来带来可观的性能收入。
同时,为了解决时间问题 - 令人震惊的时间,Cann 5.0预设了大量的模型优化规则,这可以大大减少调整持续时间并为用户带来出色的调整体验。
除了绩效带来的惊喜外,Cann5.0还基于3.0进一步简化了代码开发和调整方法,从而帮助开发人员实现了有效的AI开发。
在过去的两年中,该行业中有许多大型模型,例如GPT-3,其中许多段落高达1750亿。单独的型号需要每月的3TB存储空间,并且对计算能力的需求更加令人惊讶。
为了解决“放下”模型的问题,并且在友好的情况下,几乎无需更改原始代码,用户可以使用它。在“ AI编译器”的级别上,Cann5.0模型平行训练。
通过不同级别模型的平行,将无法放置的模型部署在集群上,并且可以以较高的计算能力利用率进行训练。以83亿兆雄模型为例大约180GB的单卡减少到小于16克。这样,可以“放手”大型模型。
此外,在某些应用程序方案中,大型输入数据规格也可能面临挑战。
例如,遥感应用程序的田地通常需要从广阔的海到一艘从广阔的天空到飞机。随着观察技术的发展,这些遥感图像的空间分辨率越来越高,平均可以达到CHW:4*30000*30000甚至更高。单个样品的大小通常为2-3GB。超大的图片计算已成为遥感应用程序开发的“卡颈”问题。
CANNN 5.0帮助武汉大学创建世界上第一个遥感特定的框架luojianet,以解决遥感图像的“大表面和多个渠道”的处理困难。经验证明,FCN8S模型正在处理遥感数据集(图像图像(图像图像)决议30,000*30,000),准确性得到了显着提高。在他们的范围内,许多关键技术被隐藏了:
1.图片很大,如果内存不够,该怎么办?
充分利用群集的优势,根据数据和群集的量来完成图片的自动分数,然后部署到计算节点。
2.如果功能跨度很大,功能丢失并且边缘失真我该怎么办?
在卷积操作的当前部分之前,将自动计算带有相邻切片的重叠数据,为当前部分提供上下文信息,以确保图片的准确性。
3.如何有效地交换数据?
借助高效的AllToAllv操作员,并在相邻节点之间接收数据,以实现无法阻止通信。
Cann5.0依靠自动分解和并行技术来使超大模型的处理与普通模型一样简单。据信,在Cann5.0版本的帮助下,它肯定会促使AI行业继续加速创新并在新的爆发期内迎来。
ModelZoo是Shengteng提供的首选模型库,可以直接在Shengteng AI处理器上有效执行其加载模型。目前,Cann5.0完全支持400多个行业模型,包括Tensorflow,Pytorch和Onnx,以及ONNX的完整性,并且操作员已大大增加。
开发人员将ModelZoo移动以体验体验。
作为一个人工智能基本软件平台,Cann继续突破基本功能和关键技术,但是如果您想进一步发展,只有所有人的力量。在过去的一年中,Cann已完全启动了开发人员的生态:
到目前为止,与去年相比,尚腾社区的活动增加了三倍。当前的40万开发人员已集中,3,000名核心开发商,并计划在2022年开发数百万开发商,10,000名核心开发商;累积和200多名Companiesthe College研究团队合作,中东项目贡献了200多个型号和500多家运营商。
聚会是火。生态建筑是AI行业可持续发展的推动力。通过开放,合作和获胜的方法,Cann将继续与合作伙伴合作,以各个方面和多维行业支持AI行业,以帮助人工智能繁荣与发展!