3月28日，阿里云与知名半导体公司联发科联合宣布，同易钱文18亿、40亿参数大模型已成功部署在天玑移动平台并且可以在离线状态下流畅运行实时精准的多轮AI对话应用，连续推理功耗增量小于3W，显着提升移动AI体验。
这是统一大模型首次完成芯片级软硬件适配。
仅依靠终端算力即可实现优异的推理性能和功耗性能，标志着片上模型探索从验证到商业化正式过渡。
新的阶段。
设备端人工智能是实现大型模型最有希望的场景之一。
利用终端算力进行AI推理，可以大幅降低推理成本，保证数据安全，提高AI响应速度，让大型模型更好地为用户提供个性化体验。
然而，要在终端上部署并运行大型模型，需要完成从底层芯片到上层操作系统和应用开发的软硬件深度适配。
存在技术不互联、运营商不支持、开发有待完善等诸多挑战。
据了解，统一钱文拥有18亿参数的大型开源模型在多个权威测试集上的表现远优于之前的SOTA模型，并且推理代币仅使用1.8G内存。
它是一种低成本、易于部署和商业化的模型。
友好的小尺寸模型。
天玑集成了联发科第七代AI处理器APU，其生成式AI处理速度比上一代AI处理器快8倍。
阿里同益实验室业务负责人徐东表示，阿里云与联发科在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度进行合作，实现基于AI处理器的高效率。
异构加速真正将大型模型“打包”到手机芯片上运行，为业界成功实现端侧AI片上模型部署原型奠定了新的典范。
图：在天玑设备上，基于统一钱文大模型的AI多轮会话可以离线完成。
基于天玑芯片的统一钱文18亿参数大模型在推理方面展现出了优异的性能和功耗。
性能：推理时CPU占用率仅30%左右，RAM使用量小于2GB，推理速度超过20个token/秒，一系列指标达到业界领先水平，多轮AI离线环境下也能顺利实现对话。
据了解，相关成果将以SDK的形式提供给手机厂商和开发者。
此外，双方团队还完成了同易钱文40亿参数大模型对天玑的适配。
未来，他们将基于Dimensity适配70亿等大型模型，“证明”并支持更多AI Agent和应用的开发。
联发科无线通信事业部副总经理李彦吉博士表示：“阿里云的通易系列大机型是AI领域的领导者，我们期待通过双方软件解决方案的合作，同时推动生成式人工智能的端侧部署以及人工智能应用和人工智能代理生态的快速发展，为用户带来更多精彩的人工智能产品体验。
”同日，阿里云与联发科宣布启动联合探索。
AI代理解决方案方案融合了联发科天玑移动平台的AI算力和阿里云统一钱文的大模型能力，为开发者和企业提供更完善的软硬件联合开发平台，更好高效地支持智能终端在设备侧实现自然语言理解、复杂决策、个性化服务生成，探索打造真正具有态势感知、自主学习、实时交互功能的下一代智能终端应用生态。
统易大模型已广泛应用于各行业，包括钉钉、淘宝、一汽红旗、央视、浙江大学等众多应用、企事业单位。
“淘宝文奇”在统一钱文的基础上实现了全新的互动体验和更精准的推荐；阿里云与中国一汽联合打造的大模型应用GPT-BI已率先上线，可根据企业数据自动生成分析图表。