当前位置: 首页 > 科技赋能

通义千720亿参数模型宣布开源,部分性能超越闭源GPT-4

时间:2024-05-19 16:39:16 科技赋能

12月1日,阿里云通义千720亿参数模型Qwen-72B今日宣布开源。

该模型是基于3T代币的高质量数据进行训练的。

它在10项权威基准评估中获得了开源模型的最佳成绩,并在部分评估中超越了闭源GPT-3.5和GPT-4。

英语任务中,Qwen-72B在MMLU基准测试中取得了开源模型中最高分;中文任务中,Qwen-72B在C-Eval、C MMLU、Gaokao Bench等基准测试中超越GPT-4;在数学推理方面,Qwen-72B在GSM8K和MATH评估中领先其他开源模型。

在代码理解方面,Qwen-72B在HumanEval、MBPP等评测中的表现有了很大的提升,编码能力有了质的飞跃。

据介绍,Qwen-72B可以处理高达32k的长文本输入,并且在长文本理解测试集Future上取得了超越ChatGPT-3.5-16k的成绩。

研发团队对Qwen-72B的指令跟随、工具使用等技能进行了优化,使其能够更好地与下游应用集成。

例如,Qwen-72B就配备了强大的系统命令(System Prompt)能力。

用户只需一句提示词就可以定制AI助手,要求大模型扮演某一角色或者执行特定的回复任务。

随着Qwen-72B的开源,通义千还开源了18亿参数模型Qwen-1.8B和大型音频模型Qwen-Audio。

到目前为止,通义千一共开源了四个18亿、70亿、1亿、1亿参数的大型语言模型,以及两个视觉理解和音频理解的大型多模态模型,实现了“全尺寸” ,全模态”开源。

业界最强的开源模式,填补了中国LLM开源领域的空白。

在前10名权威评测中,通义千wenyi参数模型获得了开源模型中最好的成绩。

通义千wenyi开源模型的部分结果仅超越了闭源GPT-3.5和GPT-4用户。

只需一句提示词,即可打造属于你自己的AI助手。

此前,在中国大型模型市场上,还没有能够与Llama 2-70B竞争的高品质开源模型。

Qwen-72B填补了国内空白。

凭借高性能、高可控性、高性价比的优势,提供了不亚于商业闭源大型机型的选择。

基于Qwen-72B,大中型企业可以开发商业应用,大学和科研院所可以开展AI for Science等科学研究。

从1.8B到72B,通义千第一个实现全尺寸开源。

如果Qwen-72B“向上”,它提高了大型开源模型的尺寸和性能天花板;发布会上的另一款开源型号Qwen-1.8B“登峰造极”。

“追根究底”已经成为中国最小的开源大模型。

它只需要3G显存即可推断2K文本内容,并且可以部署在消费级终端上。

从18亿、70亿、1亿到1亿参数规模,通义千要求成为业界第一个“全尺寸开源”的大模型。

用户可以在Moda社区直接体验Qwen系列模型效果,通过阿里云灵机平台调用模型API,或者基于阿里云白练平台定制大型模型应用。

阿里云人工智能平台PAI深度适配通义千问题全系列模型,推出轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。

阿里云是国内第一家开源大型自研模型的科技公司。

8月以来,开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。

多个模型先后出现在HuggingFace和Github大模型列表中,并受到中小企业和个人开发者的青睐。

累计下载量突破一万次,催生了众多新模式、新应用。

发布会上,众多开发者伙伴到场分享了使用Qwen开发专属模型和具体应用的实践。

阿里云CTO周敬仁表示,开源生态对于推动中国大模型的技术进步和应用落地至关重要。

通义千将持续投入开源,希望成为“AI时代最开放的大模型”,与合作伙伴一起推动大模型生态系统的发展。

建造。

通义千 Question的基础模型不断演进,引领行业多模态探索。

通义千 Question对多模态大模型的探索也领先业界一步。

同日,阿里云首次开源大型音频理解模型Qwen-Audio。

Qwen-Audio可以感知和理解各种语音信号,如人声、自然声音、动物声音、音乐声音等。

用户可以输入一段音频并要求模型提供对音频的理解,甚至进行文学创作根据音频进行逻辑推理、故事延续等。

音频理解可以赋予大型模型接近人类的听力能力。

统艺大模型既能“听”又能“看”。

通义千在8月份要求大型视觉理解模型Qwen-VL开源,该模型很快成为国际开源社区的最佳实践之一。

本次大会还宣布了Qwen-VL的重大更新,大幅提升了通用OCR、视觉推理、中文文本理解等基础能力。

它还可以处理各种分辨率和规格的图像,甚至可以“看图答题”。

无论是权威评测结果还是真人体验效果,Qwen-VL的中文文本理解能力都大幅超越GPT-4V。

通义千提问闭源模型也在不断发展。

一个月前发布的通义千提问2.0闭源模型近日升级至2.1版本,上下文窗口长度扩展至32k,代码理解与生成能力、数学推理能力、中英文百科知识和幻觉感应抵抗力均有所增强分别增长了30%、10%、近5%和14%。

用户可以在通义千问APP上免费体验最新版本的闭源模型。

猜你喜欢