9月20日,上海人工智能实验室等机构发布了亿参数版本的书生-浦语 Large Model (InternLM) InternLM-20B,已开源在阿里云ModelScope社区免费商用。
书生·浦语大模型体系与Moda社区建立重大生态合作,共同推动中国大模型生态建设。
书生-浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构联合推出。
今年6月,InternLM千亿参数(B)大规模语言模型首次发布,并经历了多轮升级。
7月,上海人工智能实验室开源了InternLM-7B的轻量级版本,即书生-浦语的70亿参数版本。
业界率先开源贯穿数据、预训练、微调、部署、评估的全链工具系统。
InternLM-7B也已在Magic Community上上线。
此次发布的InternLM-20B是一款性能先进、使用方便的大型中型机型。
该模型是基于2.3T Tokens预训练语料从头开始训练的。
与InternLM-7B相比,其理解能力、推理能力、数学能力、编程能力都有显着提高。
与此前国内已经开源的7B、13B规格模型相比,20B规模模型具有更强大的综合能力,尤其是复杂的推理和反射能力,能够为实际应用场景提供更强的性能支撑;同时,20B规模的模型可以在单卡上进行推理,经过低比特量化后,可以在单个消费级GPU上运行,在实际应用中更加方便。
与以往的开源型号相比,InternLM-20B具有几大优势: 1、综合性能优异。
不仅领先于同类量级的开源模型,而且用不到1/3的参数,评测结果就达到了Llama2-70B的水平。
2.强大的工具调用能力。
支持几十种类型的插件,上万种API函数,并具备代码解释和反射修正能力,为代理的建设提供了良好的技术基础。
3. 更长的背景。
实现了对长文本理解、长文本生成和超长对话的有效支持,同时支持16K上下文长度。
4. 更安全的价值调整。
在开发和训练过程中,研究团队基于SFT和RLHF进行了两阶段的价值对齐,并通过专家红队的对抗性训练大大提高了其安全性。
书生-浦语开源工具链也进行了全面升级,形成了更加完整的体系,包括预训练框架InternLM-Train、低成本微调框架XTuner、部署推理框架LMDeploy、评估框架OpenCompass ,以及基于场景的面向应用的代理框架Lagent。
书生-浦语工具链将与开源数据平台OpenDataLab形成强大的开源工具和数据体系,为行业提供全链研发和应用支持。
书生·浦语-20B:AI模型社区,拥有数万名开发者,聚集了20余家领先人工智能机构贡献的多种优质AI模型,为开发者提供一站式模型体验,下载、推理、和调整。
提供优化、定制等服务,社区模型累计下载量已超过10000次。
“通过开源、开放,推动中国大模型生态繁荣”是书生-浦语大模型体系与Moda社区共同打造的初衷。
上海人工智能实验室坚持全面赋能AI社区生态圈的繁荣发展,通过开源、开源支持学术研究和产业发展。
阿里云将推动中国大模型生态圈的繁荣作为首要目标,牵头打造中国最大的AI模型开源社区,为大型模型公司和开发者提供全方位的云服务。