12月20日,百度云智能大会·智算大会在北京召开。
本次大会以“大模型重构云计算,Cloud for AI”为主题,深度聚焦大模型引发的云计算革命。
百度智能云表示,为了满足大模型落地的需求,正在基于“云智融合”战略重构云计算服务。
目前已完成从底层基础设施到大模型开发应用再到AI原生应用开发的端到端升级。
架构:百格等20余项云计算基础设施全面升级,千帆大模型平台进一步升级,AI原生应用开发工作台“千帆AppBuilder”全面开放。
在智算大会上,百度智能云也公布了最新的“成绩单”。
自8月31日文心大模型向全社会全面开放以来,千帆大模型平台大模型API日调用量增长10倍。
目前,千帆平台已服务超过4万家企业用户,已帮助企业用户微调了近万个大模型。
与使用自建系统训练大型模型相比,使用千帆平台训练成本最多可降低90%。
大模型正在重塑云计算。
“AI原生时代已经开启,大模型正在驱动云计算行业的创新变革。
”百度集团副总裁侯震宇表示:“重塑云计算的大模式主要体现在三个层面:AI原生云将改变云计算行业。
”在计算领域,模型即服务(MaaS)将成为新的基础服务,AI原生应用将催生新的研发范式。
“首先,在云基础设施层,移动互联网时代底层应用大多依赖CPU算力,而AI、GPU或者异构计算的应用需求大幅增长,底层算力需求在其次,在模型层面,大模型正在成为通用服务能力,即MaaS将显着降低AI的落地门槛,实现AI真正的普惠效益。
在应用层,应用开发的范式被彻底颠覆,大模型理解、生成、逻辑、内存的独特能力将催生原生应用开发的新范式,以及整个应用技术栈、数据流。
百度集团副总裁侯震宇表示,总体而言,构建繁荣的原生应用生态系统需要大模型、智能算力、AI原生应用开发新范式三个要素相辅相成。
。
大模型是AI原生应用的“大脑”,智能计算为A原生应用的运行提供坚实支撑。
新的研发范式帮助开发者高效开发基于大模型能力的应用。
数据飞轮是AI原生应用成功的充要条件,让大模型能力高速迭代,让产品体验持续提升。
云计算全面升级:5大领域20余款全栈产品集中发布。
AI原生时代,大模型的云计算基础设施体系将全面重构。
侯震宇表示,百度智能云将在三大方面重构云计算服务,即:面向模型的智算基础设施、面向数据的数据基础设施、面向应用的云基础设施,支撑AI原生应用的落地。
会上,百度智能云集中发布并升级了20余款云计算产品,涵盖智能计算、通用计算、数据库与大数据、分布式云、应用开发平台5大领域。
在智能计算领域,计算能力是实现大型模型的基本条件。
当前大型模型的训练、推理和部署对高速互联、计算效率和算力成本提出了很高的要求。
新的智算基础设施需要建设。
然而,当前的计算集群仍然面临着许多挑战。
大模型训练时间长、容易出错、稳定性差。
计算集群规模庞大、系统复杂度高,也增加了运维难度。
新发布的百度白鸽·AI异构计算平台3.0专门针对AI原生应用和大模型训练与推理进行了优化。
百鸽3.0在稳定性、效率、易运维等方面大幅提升产品能力,实现10000ka级任务有效训练时间超过98%,带宽利用率高达95%。
与自建智算基础设施相比,模型训练和推送吞吐量可分别提升高达30%和60%。
百度百歌3.0发布解决AI原生时代智能算力供给平衡问题,百度智能云发布智算网络平台。
在计算资源层面,智算网络平台支持全球范围内接入智算中心、超算中心以及百度与第三方搭建的边缘节点等智算节点,将分散、异构的计算资源连接起来,形成统一的计算资源。
百度自主研发的算力调度算法,智能分析各类计算资源的状态、性能、利用率等指标,统一调度算力,让智算的资源灵活、稳定、高效地交付给所有用户。
有需求的用户可以实现智算资源的“南水北调”。
在通用计算领域,计算、存储、网络等云原生基础设施也需要针对AI原生时代进行重构和升级,提供更加弹性、高性能、智能的运维能力。
本次大会上,百度太行计算新增三款计算实例:全新推出第七代(通用计算)云服务器实例G7,综合性能较上一代提升10%;昆仑核心弹性裸金属实例NKL5发布。
搭载百度自研昆仑酷睿R加速处理器,大模型推理场景综合性能较业界主流加速卡提升高达50%;基于Ascend B加速处理器的弹性高性能计算实例NH6T发布。
在训练场景下,整体性能较业界主流加速卡提升高达40%。
同时,高性能计算平台CHPC(Cloud HPC)正式发布,为用户提供一站式公有云HPC服务。
在资源使用层面,CHPC支持用户一键创建高性能计算环境,并根据业务变化灵活使用云资源;在商业应用层面,CHPC支持一体化药物研发、基因测序等行业应用。
此外,结合VPC内集成的百度云盘等服务,用户可以轻松打通HPC源文件从提交、上传、处理、结果返回、到分布式数据的整个链路,有助于提升研发效率。
在分布式云方面,百度智能云带来三大升级:升级边缘计算节点BEC产品能力,打造全球统一的边缘计算网络和产品体验,打造AI原生时代最完整的“云边融合”应用程序;专业优云ABC Stack发布新能力,支持本地部署百度智能云千帆大模型平台;本地计算集群LCC发布了支持新一代CPU/GPU实例的新能力以及完整的百度智能云AI&HPC集群管理能力,进一步丰富和完善基础设施和云产品支撑能力矩阵。
大型模型的实现不仅需要计算能力的支持,还需要各类数据和海量知识的存储、管理和分析。
百度智能云在云存储、云原生数据库、大数据平台等数据基础设施领域发布了一系列重磅新产品。
统一技术库百度沧海·存储正式发布,可支持多种存储产品,同时满足AI原生时代大规模、高性能、低成本的存储需求。
全新升级的对象存储BOS、云盘CDS、并行文件存储PFS等产品全面增强数据湖存储和AI存储能力,加速智能计算,释放数据价值。
云原生数据库GaiaDB 4.0正式发布,增强并行查询能力,突破单机计算瓶颈,实现跨机多核并行查询,混合负载、实时性能提升10倍以上时间分析业务场景;针对不同工作负载和列存储引擎推出列存储索引,提高不同规模数据的查询速度。
列存引擎最高可支持PB级数据的复杂分析,与事务处理业务严格隔离;通过共识协议优化、链路优化、自适应动态回放存储、多版本等一系列数据流的深度优化,GaiaDB整体性能大幅提升60%以上。
会上,杭州吉利易云科技有限公司总经理程耀分享,吉利集团携手百度智能云,打造集团专属云,打造数字化基础设施基地。
目前,吉利集团已将车联网和制造运营上云,并基于这一高效稳定的基础设施平台构建企业级AI大规模模型能力,全面赋能集团业务。
杭州吉利易云科技有限公司总经理程耀 模型即服务(MaaS):千帆大模型平台再次升级。
在AI原生时代,大模型将作为一种新的通用服务能力,通过模型即服务(MaaS)平台提供给普罗大众。
用户。
百度智能云千帆大模型平台(以下简称“千帆平台”)作为业界领先的MaaS服务平台,预设了54个国内最主流的基础大模型和行业大模型,其中包括百度文信大模型。
它还提供了最完整、易用的大模型持续预训练、微调、评估、压缩和部署的工具链,帮助客户快速定制适合自己业务场景的大模型。
与使用自建系统训练大型模型相比,使用千帆平台训练成本最多可降低90%。
百度智能云千帆大模型平台 目前,千帆平台已服务企业用户0余家,微调近0个大模型。
本次智算大会上,千帆平台针对客户应用大模型时最关心的“提高效率”和“降低成本”两大核心诉求,发布了一系列新功能。
在数据方面,千帆平台提供了完整、高效的大模型数据管理工具链,包括数据采集、清洗、自动标注、自动增强以及推理数据多位数评估等功能,帮助用户快速构建自己的业务”数据飞轮”并实现反馈驱动增长。
新发布的数据统计分析、数据质量检验等功能支持用户获取全面的数据洞察信息。
结合数据清洗可视化管道,可以为大模型场景构建高质量的数据燃料,为大模型训练“保驾护航”。
由此,千帆成为国内首个支持大模型多方位数据分析的MaaS服务平台。
模型评估作为模型部署上线前的“最后一公里”,可以综合评估大模型的输出效果和计算性能,确保大模型上线后AI原生应用的效果稳定可靠。
千帆平台创新性地引入了自动化与人工相结合的双重评估机制,充分发挥了双方的优势,大大提高了模型评估的效率和质量。
一方面,百度文信大模型作为AI裁判,可以对被评价模型的答案进行自动评分,大大减少大量重复的人工工作;另一方面,数据标注者/业务专家会对大模型的答案进行评分,从而可以实现对大模型答案质量的精细化衡量。
此外,千帆平台还具有灵活的定价方式,如Tokens(适合灵活性要求较高的业务)、TPM(Tokens per Minute,适合并发量较大的业务)、批量计算(适合离线等实时要求)内容制作)。
吞吐量较低的任务)、算力单元(适合需要专用硬件部署模型的客户)等,可以轻松满足客户各种业务场景的需求,帮助企业以低成本用好大模型。
赋能AI原生应用开发:千帆AppBuilder正式开放服务。
为满足企业敏捷、高效的AI原生应用开发需求,降低AI原生应用开发门槛,百度智能云千帆AppBuilder正式开放服务。
AppBuilder将开发大规模AI原生应用的通用模式、工具和流程浓缩到一个工作台中,帮助开发者专注于业务本身,而不需要在开发过程中投入不必要的精力。
具体来说,AppBuilder主要由组件和框架两层服务组成。
“组件”服务由多模态AI能力组件(如文本识别、文本映射等)、基于大语言模型的能力组件(如长文摘要、nl2sql等)和基础组件( (如向量数据库、对象存储等)由三部分组成,是对底层服务能力的组件化封装,让每个组件完成特定的功能。
“框架”就是将上述组件选择性地连接、组合起来,使它们能够相对完整地完成特定场景的任务。
目前,AppBuilder提供的检索增强生成(RAG)、Agent、智能数据分析(GBI)是常用的AI原生应用框架。
AppBuilder提供两种产品形态,代码形态和低代码形态。
针对有深度AI原生应用开发需求的用户,AppBuilder代码模式提供包括SDK、开发环境、调试工具、应用示例代码等各类开发套件和应用组件;而AppBuilder低代码模式提供了可视化工具,用户只需点击即可快速定制并启动AI原生应用。
百度智能云千帆AppBuilder 百度创始人、董事长兼首席执行官李彦宏认为,繁荣的AI原生应用生态将拉动经济增长。
今年10月,百度智能云推出国内首个大型模型全链路生态支撑体系,为合作伙伴提供赋能培训、AI原生应用孵化、销售机会、营销等全方位支持,致力于繁荣AI 。
原生应用程序生态系统。
侯震宇预测,2020年将是AI原生应用元年,迎来AI原生应用爆发式增长。
百度智能云将持续推出有竞争力的产品解决方案,并与合作伙伴一起深耕客户应用场景,让更多AI原生应用创新不断涌现。