当前位置: 首页 > 科技赋能

上海人工智能实验室等机构开源的书生-浦语 20B模型在阿里云魔法社区全球上线

时间:2024-05-19 16:38:50 科技赋能

9月20日,上海人工智能实验室等机构发布了亿参数版本的书生-浦语 Large Model (InternLM) InternLM-20B,已开源在阿里云ModelScope社区免费商用。

书生·浦语大模型体系与Moda社区建立重大生态合作,共同推动中国大模型生态建设。

书生-浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构联合推出。

今年6月,InternLM千亿参数(B)大规模语言模型首次发布,并经历了多轮升级。

7月,上海人工智能实验室开源了InternLM-7B的轻量级版本,即书生-浦语的70亿参数版本。

业界率先开源贯穿数据、预训练、微调、部署、评估的全链工具系统。

InternLM-7B也已在Magic Community上上线。

此次发布的InternLM-20B是一款性能先进、使用方便的大型中型机型。

该模型是基于2.3T Tokens预训练语料从头开始训练的。

与InternLM-7B相比,其理解能力、推理能力、数学能力、编程能力都有显着提高。

与此前国内已经开源的7B、13B规格模型相比,20B规模模型具有更强大的综合能力,尤其是复杂的推理和反射能力,能够为实际应用场景提供更强的性能支撑;同时,20B规模的模型可以在单卡上进行推理,经过低比特量化后,可以在单个消费级GPU上运行,在实际应用中更加方便。

与以往的开源型号相比,InternLM-20B具有几大优势: 1、综合性能优异。

不仅领先于同类量级的开源模型,而且用不到1/3的参数,评测结果就达到了Llama2-70B的水平。

2.强大的工具调用能力。

支持几十种类型的插件,上万种API函数,并具备代码解释和反射修正能力,为代理的建设提供了良好的技术基础。

3. 更长的背景。

实现了对长文本理解、长文本生成和超长对话的有效支持,同时支持16K上下文长度。

4. 更安全的价值调整。

在开发和训练过程中,研究团队基于SFT和RLHF进行了两阶段的价值对齐,并通过专家红队的对抗性训练大大提高了其安全性。

书生-浦语开源工具链也进行了全面升级,形成了更加完整的体系,包括预训练框架InternLM-Train、低成本微调框架XTuner、部署推理框架LMDeploy、评估框架OpenCompass ,以及基于场景的面向应用的代理框架Lagent。

书生-浦语工具链将与开源数据平台OpenDataLab形成强大的开源工具和数据体系,为行业提供全链研发和应用支持。

书生·浦语-20B:AI模型社区,拥有数万名开发者,聚集了20余家领先人工智能机构贡献的多种优质AI模型,为开发者提供一站式模型体验,下载、推理、和调整。

提供优化、定制等服务,社区模型累计下载量已超过10000次。

“通过开源、开放,推动中国大模型生态繁荣”是书生-浦语大模型体系与Moda社区共同打造的初衷。

上海人工智能实验室坚持全面赋能AI社区生态圈的繁荣发展,通过开源、开源支持学术研究和产业发展。

阿里云将推动中国大模型生态圈的繁荣作为首要目标,牵头打造中国最大的AI模型开源社区,为大型模型公司和开发者提供全方位的云服务。