当前位置: 首页 > 科技观察

用“小AI”解决人工智能的“大”烦恼

时间:2023-03-21 00:15:24 科技观察

随着人工智能的不断发展,其背后的算力消耗也是惊人的。数据显示,谷歌开发的Bert预训练语言模型拥有3.4亿个数据参数,训练一次所需的电量足够一个美国家庭使用50天。人工智能承载着人类未来的远大梦想、巨大可能和巨大挑战,风靡了这么多年,取得了长足的发展。与它相辅相成的是人工智能越来越“庞大”的架构,比如数十亿的计算单元、庞大的云计算数据中心……越来越大,是不是人工智能的现实和未来?近日,《麻省理工科技评论》公布了年度十大突破性技术,小小人工智能技术(TinyAI)排行榜上有名。从大到小,人工智能正在“回归自然”的路上吗?我们都知道不可持续的“大”人工智能。随着研究人员不断向算法“馈送”大量数据,机器学习变得越来越智能。但它们也变得更环保了吗?答案是不。不可否认,人工智能在过去几年取得了许多突破。深度学习是人工智能系统实现高精度的众多突破之一。研究人员发现,虽然人工智能每天都变得越来越准确,但它也带来了隐藏的环境成本。“目前,人工智能承载着庞大的数据集,输入到云数据中心,然后通过无穷无尽的算法进行分析。”威海北洋电气集团有限公司副总工程师秦志良表示,将数据上传到云中心的过程,并通过复杂的算法结构和精密的训练方式获得高精度的算法模型,不仅会生成惊人的碳排放量,也限制了算法模型运行和部署的速度,同时带来诸多隐私问题。马萨诸塞大学阿默斯特分校研究人员的一项研究结论为秦志良的说法提供了佐证。通过揭示算法训练的能量强度,他们发现训练算法产生的二氧化碳排放量相当于一辆普通汽车生命周期排放量的五倍,或者纽约和旧金山之间大约300次往返飞行的飞机。研究人员认为,在追求人工智能高精度的过程中,人们的注意力似乎已经失去了对能源效率的关注。事实上,“大”人工智能并不适合离线实时决策,比如自动驾驶解决方案,越来越依赖巨大的能量和巨大的带宽。这种模式在经济和生态上也是不可持续的。此外,更让研究人员担忧的是,这一趋势还可能加速人工智能研究向少数科技巨头手中集中。在学术界或资源较少的国家,资源不足的实验室根本没有办法使用或开发计算成本高昂的技术。模型。去中心化还是未来趋势人工智能虽然已经融入大众生活,但其最终能否成功,还是要靠“落地”,实现大规模商用。这应该是推动微型人工智能发展的直接原因。“要实现人类关于人工智能的伟大梦想,我们必须从小处着想,甚至要从小处着眼。云数据主导的趋势正在发生变化,未来的人工智能环境将是去中心化的。”海南普世智能科技有限公司CEO陈小祥说。海南中智信信息科技有限公司总经理于建刚认为,“这是一条与计算机发展相反的道路,计算机的发展经历了从个人终端到互联网化、虚拟化的过程。微型人工智能首先是互联网化、虚拟化、终端化。”以Bert为例,Bert是由谷歌高级研究科学家JacobDevlin和他的团队开发的预训练语言模型(PLM),能够理解单词和上下文,并能独立提出写作或完成句子的建议。《麻省理工科技评论》报道称Burt有3.4亿个数据参数,再加上训练一次需要一个美国家庭用50天的电量,华为研究人员发表文章说他们做了一个TinyBert模型,体积缩小了7.5倍比Bert快近10倍。谷歌的研究人员也发文称,他们打造了一个比Bert小60多倍的版本,但其语言理解能力略逊于华为版本。华为和谷歌他们是怎么做到的?这样做吗?事实上,两家公司都使用一种称为“知识提取”的常见压缩技术的变体,该技术允许想要缩小的大型AI模型训练更小的模型在它的形象中,类似于老师在训练学生。我们可以将TinyAI理解为AI研究界为缩小算法规模所做的努力。这不仅减小了模型的大小,而且加快了推理速度,保持了较高的准确性。此外,可以在边缘部署更小的算法,而不是将数据发送到云端,而是在设备上做出决策。Tinydata、Tinyhardware、Newmaterials、Tinyalgorithm三个方面缩小现有模型,TinyAI是一种涉及数据、硬件和算法共同开发的综合方法。如何在不显着影响模型精度的情况下,对现有的深度学习模型进行缩减,秦志良认为可以从三个方面入手。一是硬件方面的边缘计算,二是算法方面的模型简化,三是数据方面的小样本训练。无论是新技术还是新概念,大众关注的仍然是其在市场中的渗透率,尤其是产品的量产应用情况。“微人工智能的具体落地场景包括语音助手、数字化妆等,涉及即时场景理解、边缘目标检测等技术;此外,微人工智能还将使新的应用成为可能,比如基于移动终端的医学图像分析,或者需要更快反应时间的自动驾驶模型的开发。”秦之良说道。“现在微算法一般都是几百兆到几千兆,可以装在手机上。”于建刚表示,微人工智能可以应用于所有需要前端控制的应用。即使5G有加速覆盖,降低网络时延,但需要快速响应的应用,如工业控制、自动驾驶、航空航天等,都需要在本地部署人工智能算法。他认为,未来的商业形态应该是终端简单快速反馈,服务器做重大决策。2019年底的安博会上,一家人工智能初创公司推出了“TinyAI”,将低功耗、小体积的NPU与MCU集成,适配各种主流2D/3D传感器。市场上满足2D/3D图像、语音等识别需求的AI解决方案备受业界关注。此外,NVIDIA、华为等公司相继推出了终端图形处理器,体积小、功耗低,能够满足简单的算法。技术起步期期待宽松的发展环境微型人工智能仍处于发展初期,该领域的安全、伦理、隐私等问题也备受人们关注。秦之良担心两个问题。一是算法歧视可能会激增。他表示,算法歧视之所以难以解决,归根结底是算法的可解释性和训练数据的不平衡。与传统云端训练相比,微AI的训练数据集样本更少,数据分布可能更偏。另一个隐患是数据造假的影响。以GAN(GenerativeAdversarialNetwork)和深度伪造技术为代表的视频图像技术一直是人工智能算法研究的热点。随着这些技术的普及,未来的客户端极有可能接收或生成大量虚拟伪造数据。微型人工智能受计算能力的限制。在去中心化的网络架构中,如何有效识别这些伪造数据很可能是一个隐患。于建刚认为,微型人工智能将带动分布式人工智能的兴起。每个终端都成为一个AI节点,每个节点都可以独立生存,类似区块链的应用也会出现。网络侧的管控会减少,政府管控的风险会增加。然而,技术有两个方面。于建刚分析,虽然存在这些风险,但人工智能的控制技术也在发展。我们应该相信微型人工智能的积极作用,不要在技术初期过多限制。