3月6日，“AIin5G——引领新时代论坛”国际论坛在深圳举行。来自全球电信运营商、标准组织、互联网公司、设备制造商、高校等行业的专家和嘉宾齐聚一堂，共同探讨AI赋能的5G网络智能化和行业应用创新。会上，AIIA正式发布了“AIIADNNbenchmarkV0.5”第一轮评测结果。评测基于AIIA权威测试平台，客观反映具有深度学习处理能力的处理器或加速器在四种典型应用场景下的性能水平。参与首轮评测的产品有：海思麒麟980和瑞芯微RK3399开发板。国内权威AI芯片基准测试AIIA副秘书长王爱华在论坛上介绍了评测背景。为真实体现当前人工智能芯片的能力，集聚更多人工智能芯片企业参与，促进市场健康发展，在科技部、工信部、国家互联网信息办公室，2018年10月，AIIA联合国内多家具有代表性的应用企业、主流芯片企业和芯片工具企业，正式发布《人工智能端侧芯片基准测试评估方案Version 0.5》，并于2018年12月启动第一轮评估工作。图1：AIIA王爱华副秘书长介绍了此次评估的背景。第一轮评审结果出炉。AIIADNNbenchmarkV0.5测试评测主要面向设备端，旨在客观反映具有深度神经网络加速能力的处理器在完成推理任务时的性能表现。AIIA总组组长孙明军正式向业界发布了第一轮评估结果。图2：AIIA总组组长孙明军发布第一轮测评结果孙明军表示，第一轮测评包括四种典型场景（见图3）和两类评价指标，包括速度（fps）)和算法性能，如top1、top5、mAP、mIoU、PSNR等。值得一提的是，这是深度学习处理器领域第一个区分整数和浮点比较的Benchmark。图3：评估指标及应用场景第一轮AIIADNNbenchmarkV0.5测试评估了麒麟980和瑞芯微RK3399开发板。海思麒麟980——适用于移动终端Mate20系列，采用7nm工艺。具体评价结果如图4和图5所示。图4：海思麒麟980场景1评测结果图5：海思麒麟980场景1评测结果2/3/4RockchipRK3399开发板——这款芯片广泛应用于安防等领域，采用28nm工艺。结果表明，当浮点模型不需要定点再训练时，int8计算以最大精度损失1%为代价实现了浮点计算两倍的性能（见图6）。图6：RockchipRK3399开发板评估结果评估工具开源AIIADNNbenchmarkV0.5测试评估工具采用开源方式，支持Android系统，易于扩展到所有POSIX兼容系统，用户可自行添加根据项目文档框架或新模型。面对未来的市场需求，AIIADNN基准项目将持续更新。孙明军介绍，Benchmark工具v0.5版本可以评估基于CPU/GPU/DSP/NPU的终端推理任务，支持评估的机器学习框架包括TensorFlow/Caffe。目前完成的移动适配环境包括HiAI/SNPE/Tengine/TensorFlowLite/MACE/NCNN等，项目代码已经开源到Github，链接为：https://github.com/AIIABenchmark/AIIABenchmarkv1.0版本评估方案即将发布，西安交通大学任鹏举教授对AIIADNNbenchmarkV0.5第一轮评估结果进行了评审AIIADNNbenchmarkprojectv1.0正式版有望正式发布今年上半年。图7：西安交通大学任鹏举教授解读v0.5版评测结果图8：v0.5版评测结果分析图9：v0.5版演讲评测结果分析他表示，ARM人工智能周易平台已成功对接AIIADNNBenchmark项目，旨在帮助芯片企业获得客观、公正的ARM芯片AI性能评估报告，也为应用算法企业的芯片选型提供便利。图10：ARM中国区AI技术市场负责人发表演讲未来，AIIA将结合行业发展需求，不断迭代规范评估。AIIADNNbenchmarkprojectv1.0正式版将进一步丰富评测对象，涵盖AI芯片在语音、自动驾驶、安防等应用场景。可以预见，基于开放共赢的产业生态，AIIADNN基准项目将吸引更多的企业和开发者加入。
