当前位置: 首页 > 科技赋能

通义千问开源320亿参数模型,已实现7大语言模型全部开源

时间:2024-05-19 16:25:58 科技赋能

据4月7日消息,阿里云通义千问开源开源1亿参数模型Qwen1.5-32B,它可以最大限度地提高性能、效率和内存使用率。

该平衡为企业和开发者提供了更具成本效益的模式选择。

目前,通义千文共开源7大语言模型,国内外开源社区累计下载量超万次。

通义千文此前已开源参数分别为5亿、18亿、40亿、70亿、1亿、1亿参数的6个大型语言模型,并且全部升级至1.5版本。

其中,多个小尺寸型号可以轻松部署在设备侧。

亿参数模型性能业界领先,多次上榜HuggingFace等模型榜单。

开源的亿参数模型将在性能、效率和内存使用之间取得更理想的平衡。

例如,相比14B模型,32B在坐席场景下能力更强;与72B相比,32B的推理成本更高。

低的。

通义千文团队希望32B开源模式能够为下游应用提供更好的解决方案。

基础能力方面,通义千问亿参数模型在MMLU、GSM8K、HumanEval、BBH等多项评测中均表现出色,性能接近通义千问亿参数模型,远超其他亿参数模型参数模型。

Chat模型方面,Qwen1.5-32B-Chat模型在MT-Bench评测中得分超过8分,与Qwen1.5-72B-Chat的差距较小。

在多语言能力方面,孔文团队选取了阿拉伯语、西班牙语、法语、日语、韩语等12种语言,从考试、理解、数学、翻译等多个方面进行评估。

Qwen1.5-32B的多语言能力仅略逊于通义千亿参数模型。