当前位置: 首页 > 科技赋能

通义千要求更多开源!推出最大1100亿参数模型

时间:2024-05-19 16:39:57 科技赋能

4月28日报道,通义千要求开源千亿参数模型Qwen1.5-B,成为全系列首个千亿参数开源模型,并取得创纪录的成绩在多项基准评估中。

结果与 Llama3-70B 相当。

目前Qwen1.5系列共开放了10个大型模型,通义千开源模型下载量超过1万。

通义千问亿参数模型延续了Qwen1.5系列的Transformer解码器架构,并采用了组查询注意力方法(GQA),使得模型在推理时更加高效。

Model B支持32K上下文长度,具有出色的多语言能力,支持中文、英语、法语、德语、西班牙语、俄语、日语、韩语、越南语、阿拉伯语等多种语言。

Qwen1.5-B在MMLU、TheoremQA、GPQA等多项基准测试中展现了优异的性能。

其基本能力与Meta刚刚发布的Llama-3-70B型号相当。

相比通义千问易参数开源模型也有显着提升。

研发团队指出,Qwen1.5-B的预训练方法与同系列其他模型没有显着差异,性能提升主要来自于参数规模的扩大。

研发团队还在MT-Bench和AlpacaEval 2.0两个评估集上对Chat版本的一亿参数模型进行了评估。

通义千问B的效果相比通义千问72B的效果有明显提升。

今年2月初,通义千团队推出了最新开源模型系列Qwen1.5,随后不到3个月的时间推出了8个大型语言模型,模型参数规模覆盖5亿、18亿、40亿、70亿、数十亿,数十亿,数十亿,数十亿; Qwen1.5系列还推出了基于LLM开发的代码模型CodeQwen1.5-7B,以及混合专家模型Qwen1.5-MoE-A2.7B,均得到了开源社区的热烈反响。

反响。

开发者可以从ModelScope、HuggingFace等开源社区下载并使用Qwen1.5-B。

据悉,通义千 Question开源模型下载量已超过1万次,是最受开发者欢迎的开源大型模型之一。

同益大模式的落地也加快了。

近期,新东方、同程出行、长安汽车、西部机场集团、秦宝宝等多家企业宣布接入同程大车型。

统一大模型已经开始“上天入地”,支撑千行万业。

例如,中国科学院国家天文台人工智能组基于通义千问题开源模型,研发了新一代天文大模型“星语3.0”。

这是大型模型首次应用于天文观测领域。

;陕煤建新煤矿等十余家矿山推出了以统一大模型为支撑的新型矿山重大风险识别处置体系。

这是大模型在挖矿场景中的首次大规模落地。

猜你喜欢