据4月7日消息,阿里云通义千问开源开源1亿参数模型Qwen1.5-32B,它可以最大限度地提高性能、效率和内存使用率。
该平衡为企业和开发者提供了更具成本效益的模式选择。
目前,通义千文共开源7大语言模型,国内外开源社区累计下载量超万次。
通义千文此前已开源参数分别为5亿、18亿、40亿、70亿、1亿、1亿参数的6个大型语言模型,并且全部升级至1.5版本。
其中,多个小尺寸型号可以轻松部署在设备侧。
亿参数模型性能业界领先,多次上榜HuggingFace等模型榜单。
开源的亿参数模型将在性能、效率和内存使用之间取得更理想的平衡。
例如,相比14B模型,32B在坐席场景下能力更强;与72B相比,32B的推理成本更高。
低的。
通义千文团队希望32B开源模式能够为下游应用提供更好的解决方案。
基础能力方面,通义千问亿参数模型在MMLU、GSM8K、HumanEval、BBH等多项评测中均表现出色,性能接近通义千问亿参数模型,远超其他亿参数模型参数模型。
Chat模型方面,Qwen1.5-32B-Chat模型在MT-Bench评测中得分超过8分,与Qwen1.5-72B-Chat的差距较小。
在多语言能力方面,孔文团队选取了阿拉伯语、西班牙语、法语、日语、韩语等12种语言,从考试、理解、数学、翻译等多个方面进行评估。
Qwen1.5-32B的多语言能力仅略逊于通义千亿参数模型。