8月2日,百度智能云表示千帆大模型平台已完成新一轮升级,重点升级三大功能。
百度智能云AI与大数据平台总经理忻舟表示,目前,千帆大模型平台已与Llama2、ChatGLM2、RWKV、MPT等全系列33个大模型全面集成,成为国内最大模型平台。
中国的模型。
接入的模型在千帆平台上进行了二次性能增强,模型推理成本可降低50%。
同时,千帆平台推出了国内最全的预设提示模板,模板多达3个,涵盖对话、游戏、编程、写作等十多个场景。
第三,千帆是国内第一个提供插件服务的大型模型平台。
本次升级再次发布了多个新插件。
2020年3月,百度智能云推出“千帆大模型平台”,这是全球首个一站式企业级大模型平台。
不仅提供包括文心一言、第三方大模型服务在内的大模型服务,还提供完整的大模型开发应用工具链,可以帮助企业解决大模型从训练到开发过程中的所有问题。
忻舟表示,本次千帆大模型平台升级的目的是为企业和开发商提供更加灵活、多元化、高效的大模型服务。
客户可以选择最适合自己业务的大型号,然后利用千帆平台的全工具链进行运营。
模型再训练,高效率、低成本创建企业专用大模型。
此外,庞大的提示模板库提高了大型模型的内容准确性和满意度。
千帆接入了Llama2等33个优质模型,可以降低50%的推理成本。
目前,开源大模型生态正在快速发展,涌现出大量优质模型,在不同任务场景、参数量级、算力环境下展现出差异化优势。
如何选择合适的大模型,如何应用大模型能力来提高市场竞争力,成为越来越多企业渴望探索的方向。
为了满足企业对大模型的多样化需求,百度智能云宣布,除了之前已经接入的文心一言、BloomZ之外,本次升级后,千帆大模型平台将与全系列大模型全面融合。
Llama2、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33个大型模型,是国内大型模型最多的平台。
企业用户可以将不同的大模型组合使用,满足不同细分场景的业务需求。
企业和开发者可以登录千帆大模型平台控制台,直接在“模型仓库”中调用和部署。
忻舟介绍,千帆平台接入的大型模型经过严格筛选,主要评估模型效果、模型安全性、商业可用性三大指标。
为了给企业客户带来更好的模型产品,千帆对这33款大型模型进行了性能和安全性的双重增强。
一方面,千帆对各个大模型都进行了二次性能增强。
通过优化模型吞吐量和减小模型大小,模型推理速度大大提高。
预计调参后,模型体积可压缩至25%-50%,推理成本可降低50%。
这意味着企业通过在千帆上调用这些模型可以大大节省成本并提高效果。
另一方面,千帆对第三??方大模型进行了二次安全增强,以更好地控制模型输出的安全性。
在千帆上调用第三方车型的客户也享受平台的安全保障。
值得一提的是,为了方便开发者和企业进行模型调优,千帆还提供了多种低门槛调优工具,包括SFT(全参数微调、Prompt Tuning、LoRA)和强化学习(奖励模型学习、强化学习训练)等,同一个模型还可以通过多种方式不断调优。
推出国内最全的Prompt海量模板库,极大优化模型输出效果。
提示是指通过自然语言向大模型提出问题。
问题的质量将直接影响大模型的内容输出质量。
在实际应用中,大型模型往往会因提示缺乏针对性、描述不清晰而影响内容准确性。
为了帮助客户提高提示问题质量,提高模型输出满意度,经过本轮升级,百度智能云千帆大模型平台上线了海量预设提示模板库,包括对话、编程、电商、医疗的。
、游戏、翻译、演讲等十余种场景。
用户可以根据自己的需求选择合适的模板,直接输出到大模型中,可以提高模型内容的针对性和准确性。
忻舟在活动中演示了文心一言提问的不同提示会产生不同的效果。
原提示:“《长安三万里》好看吗?”闻心一言会输出一个比较简单的结果。
使用提示模板+原始提示:“我希望你扮演一名影评人。
你将写一篇引人入胜且富有创意的电影评论。
你可以涵盖情节、主题和基调、表演和人物、导演、配乐、摄影、主题等内容像制作设计、特效、节奏、对话等都是为了突出真正能引起你共鸣的部分。
《长安三万里》由于提示比较详细和具体,温心一言回答道。
忻舟表示,很多企业在使用大型模型时,都认为效果不好是模型本身的问题,其实多次重写Prompt will就可以达到预期的效果。
大量提示模板的推出,大大降低了提示的编写难度。
很多时候,企业不需要花费大量的资源来调优大型模型,通过基于模板优化提示就可以获得满意的模型效果。
国内首个提供插件服务的大模型平台,千帆插件功能及新插件是大模型能力的延伸,可以将大模型的认知能力与外部信息进行融合和打通,资源,大大拓展了大模型的功能边界。
据了解,今年6月,千帆平台上线插件功能,成为国内首家提供插件服务的大型车型平台。
为了满足客户更加个性化的需求,千帆大模型平台发布了一系列优质的插件功能。
例如,借助新推出的“Chatfile插件”,用户可以在大模型对话中一键上传PDF/Doc格式文档,大模型可以基于大模型实现知识点检索、长文本总结等功能。
文档内容。
值得一提的是,千帆的插件功能已率先应用于百度内部办公场景。
基于大模型技术打造的如流“超级助手”可接入会议室插件、内部搜索插件等20个插件。
百度员工用自然语言与“超级助手”对话,实现文档搜索、会议室预订、饭卡充值、休假申请等功能,极大提高了员工办公效率。
忻舟表示,大量客户调查显示,企业对插件功能的需求非常迫切。
千帆立即推出该功能,希望为客户提供更加个性化的服务,提升千帆平台的用户体验和满意度。
“未来,千帆平台将会发布更多优质的插件功能,让客户更好的应用大型模型。
同时,我们欢迎各位开发者基于千帆平台共同打造丰富的插件功能,增强大型模型的能力。
”忻舟说道。