当前位置: 首页 > 科技赋能

国内千亿参数MoE架构大模型开源!数学能力碾压Grok,可以当消费级显卡了!

时间:2024-05-19 17:02:29 科技赋能

在人工智能领域,一场由APUS和新单智能联合发起的开源革命正在发生。

4月2日,APUS与战略合作伙伴新单智能共同训练开发了千亿MoE(Mixture of Experts)架构模型,并在GitHub正式开源。

从适配低端算力芯片实现行业普惠,到提升国内首个开源MoE架构千亿参数大模型模型的质量和效率,APUS-xDAN大模型4.0(MoE)的应用趋势)会很强。

与国内其他大型模型公司相比,此次与APUS联合开大型模型的新丹智能虽然年龄稍显年轻,但其创始团队却相当豪华:这是一支由来自清华大学、伯克利分校、腾讯、Meta等。

精英在全球组建的团队包括全球顶级开源AI社区的知名开发者以及腾讯云高层架构师。

今年3月初,完成数千万天使轮融资,由APUS和AI行业资深投资人周弘扬领投。

共同投资。

双方的这次强强联合,整合了各方的优势,让APUS-xDAN Large Model 4.0(MoE)的综合性能在 等低端计算芯片上达到GPT-4的90%。

这一新突破将为中国企业应用大模型技术提供更大价值,并通过算法优化进一步成功解决“算力瓶颈”问题。

采用低端计算芯片,开启普惠科技新时代。

近日,美国商务部发布公告,对美国2020年10月17日颁布的半导体出口管制规则进行修订。

除了此前限制英伟达等企业向中国出口先进人工智能、芯片外,此次新规监管再次收紧。

对中国出口芯片的限制也适用于含有低端芯片的笔记本电脑,这表明中国将更难获得美国的人工智能芯片和芯片制造工具。

面对国内计算资源的限制和国际技术封锁,APUS董事长兼首席执行官李涛表示:“中国要想摆脱美国设计的‘算力陷阱’,一方面必须在算法上进化一方面,我们努力做高端模型;另一方面,我们不断推动应用生态的演进,只有坚持双向演进,才能取得突破。

”这个开源 APUS-xDAN Large Model 4.0 (MoE) 是数据和工程的集合。

APUS-xDAN Large Model 4.0(MoE)凭借在千亿参数芯片上流畅运行的大规模模型,进一步突破美国半导体出口管制,成功帮助中国人工智能产业实现普惠模型应用。

实际测试显示,在技术指标方面,APUS-xDAN大模型4.0(MoE)在模型数学能力方面达到GSM8K 79分,在MMLU理解能力方面达到73分,在BBH推理能力方面达到66分。

整体性能超过GPT3。

.5,逼近GPT4,甚至在数学能力上碾压马斯克的开源Grok。

对于政府来说,APUS-xDAN大型模型4.0(MoE)的诞生,意味着我国在国内计算资源有限的情况下,仍然可以独立构建和运行顶级超大规模语言模型,极大提高国家技术自主水平-充足性和能力。

战略安全。

对于企业和个人开发者来说,尤其是资金有限的小创业者,不需要花费巨资购买A、H等高端GPU,只需要使用相对经济的GPU来控制这个强大的AI工具,这大大降低了成本。

实现人工智能技术普及和广泛应??用的创新门槛。

国内千亿参数MoE架构模型开源,重塑性能边界。

不难发现,开源的APUS-xDAN大模型4.0首次引入MoE(Mixture of Experts)架构,成为国内首个开源的千亿参数MoE架构大模型。

与其他声称拥有MoE架构但未经开源验证的模型相比,APUS-xDAN Large Model 4.0(MoE)真正将MoE架构应用于超大规模模型。

值得一提的是,APUS-xDAN大模型4.0(MoE)采用了与GPT4类似的MoE架构,其特点是多专家模型的组合。

仅同时激活和使用2个子模块。

与同尺寸的传统Dense模型相比,实际运行效率提高%。

推理成本下降了%。

在实际部署中,通过进一步的高精度微调和量化技术,模型尺寸缩小了10%,形成了全国首个可在消费级显卡上运行的千亿教育部中英文大模型。

这些特性赋予了APUS-xDAN Large Model 4.0(MoE)在处理复杂任务时无与伦比的学习效率和模型能力,为人工智能的边界扩展注入澎湃动力,为中国人工智能产业开辟了新的突破路线,成为中国人工智能产业的一大突破口。

国产型号。

模式创新与探索的先行者。

此次APUS-xDAN大模型4.0(MoE)超越了国内最大开源模型阿里巴巴钱文72B(亿参数),亿参数规模引人注目,综合性能达到TOP主流大型车型水平。

这一历史性突破不仅见证了我国在超大规模预训练模型研发领域的重大飞跃,也有效展示了我国在人工智能科研实力和技术创新方面的国际地位。

打造AI行业应用生态,赋能千行百业。

“人工智能的发展和应用离不开大模型的支撑。

开源大模型的出现,让更多的企业和开发者能够利用这些模型构建更多的人工智能+应用。

”李涛表示,这次开源大模型APUS-xDAN大模型4.0(MoE)的源码填补了我国千亿参数模型开源的空白,也为人工智能技术的发展提供了机遇。

而应用则带来了更多的可能性。

自2018年成立以来,APUS已推出剩余应用产品,涵盖工具、内容、服务等多个场景。

APUS转型人工智能后,重构了自己的原生产品矩阵,以工具+AI、内容+AI、服务+AI三层应用赋能全线产品,探索孵化用户侧超级应用。

在行业应用场景方面,从G端网络信息领域可智能辟谣的“APUS智信大模型”,到支持B端医院智能诊疗的“APUS栖黄大模型”,以及智能电商营销的“APUS少博模型”,到C端具有智能绘画能力的“APUS墨染大模型”,中文领域具有AI书写能力的“APUS云梦大模型”创作、具备文声视频能力的“APUS墨迹大模型”……APUS正在加速实现普惠性的大模型,让AI应用变得更加简单。

在APUS AI开放实验室,开发者可以快速部署自己的创意应用。

如今,AI开放实验室汇聚了来自全球的顶尖AI人才,在APUS的算力支持下,共同开源开放最新的AI大型模型,从而推动AI的健康发展。

??行业。

据悉,此次开源APUS-xDAN大模型4.0(MoE)也是APUS继与深圳大学国家工程实验室联合开源APUS大模型3.0(灵力)之后带来的又一重磅大模型,标志着APUS Go正式上线。

进一步布局AI通用大型车型。

未来,面对人工智能行业的发展和挑战,APUS将通过持续的技术研发和社区共建,积极探索解决方案,不断提高开源大模型的稳定性和泛化能力,确保能够用于各种复杂的应用场景。

我们将始终保持领先优势,进一步赋能各行业。