核心内容：1.人工智能基础设施是建立在云平台基础上、以算力为支撑的人工智能技术平台和数据平台。
集开发平台、能力平台、场景技术解决方案与AI安全能力于一体的大规模技术体系和工程体系。
2、在基础设施之上，要不断发挥应用场景的应用价值，形成正循环，才能推动基础平台的进一步发展，推动整个人工智能体系的进一步进化。
3、人工智能产业化过程中，由于其流程链长、决策复杂，需要融合社会各方面进行积木式创新。
因此，一个共生共赢的生态系统就出现了。
4、注重人才培养，加大培养既懂应用场景又懂人工智能技术的新型复合型人才的培养力度。
通过建设相应的教育、培训体系和专业体系保障，培养各方面的人工智能技术和应用人才。
编者按：本文根据4月7日超级沙龙“新基建”系列第三场直播整理，有部分删减。
近年来，随着加快新型基础设施建设的要求，新型基础设施建设现在已经成为一个非常重要的话题。
那么我今天带来的就是我对人工智能新型基础设施建设的理解。
后面我会把它称为AI新基建。
新型基础设施建设虽然被称为“新基建”，但实际上是以5G、人工智能、工业互联网、物联网等为代表的新型基础设施，本质上是信息数字化的基础设施。
1、AI基础设施首先介绍一下AI新基础设施中最基本、最重要的硬核部分——AI技术平台以及以AI技术平台为核心构建的一套基础设施。
关于算力框架和平台的介绍，今天我以百度的工作为例进行介绍。
人工智能技术涵盖了广泛的子领域。
整个AI技术体系本身是非常开放的。
它与应用场景有很多结合，与应用密切相关。
它会随着应用的发展而不断演化，所以它不是静态的，而是一个不断演化、不断演化的系统。
图 百度大脑是百度AI技术的集大成者。
大家可以看图1来简单回顾一下百度大脑的发展历程。
尤其是2019年，百度大脑核心技术进入“多模态深度理解”阶段。
所谓多模态，是指对语音、视觉、文本的综合理解能力，是深度、多层次的语义理解。
现阶段，AI能力也开始多维度、多层次的开放。
2019年，百度大脑进一步升级为软硬件一体化的AI大规模生产平台。
在此期间，百度大脑也进入了AI能力与应用场景融合创新的阶段，并与各行各业场景广泛融合，成为AI时代的大规模生产平台。
图2 那么AI规模化生产平台是一个什么样的平台呢？这个名字听起来可能像是有什么黑匣子。
如果我们打开黑匣子看的话，整个组件最基本的组成部分就是算力和数据平台。
在整个生产平台上，深度学习平台是基础。
通过深度学习平台，开发者可以开发自己的AI应用。
它还将为您提供通用的AI能力，例如语音、视觉、自然语言、知识图谱处理等一系列AI能力。
结合场景，因为有大量根据场景进行定制培训的需求，所以开通了定制培训平台。
整个平台上积累的能力最终需要与业务系统进行部署和集成，因此也提供了部署和集成的工具和平台，并在此基础上形成了技术解决方案。
在整个平台量产过程中，平台本身受到AI安全的保护。
因为安全也是人工智能整个应用过程中的一个重要话题。
接下来，我们从整个平台的底层开始，一层一层的看一下这些内容的意义和进展。
最底层是AI基础设施，是整个大规模生产平台的计算底层。
随着AI算法能力的提升，其对算力的要求也越来越高。
有了这些算力基础资源，就可以对大数据进行计算，最终生成AI算法模型。
图3 面对即将到来的AIG时代，未来计算将无处不在。
它将从云端扩展到端、边缘等，各种计算时时刻刻都可以在我们身边进行。
在百度大脑上，全新的AI计算架构通过芯片层、互联层、系统层、调度层进行协同设计和技术创新，最终可提供百万TOPS的强大算力（见图3）。
同时，芯片、系统、设备都可以相互连接，连接不同场景的计算，打造更全面、更强大的计算能力。
图4：除了使用经典芯片外，百度也在开发自己的芯片。
我给大家介绍两款自主研发的芯片。
一个是基于云的通用AI处理器，百度昆仑，这是一款基于云的处理器。
在这款芯片上，我们对语音、自然语言处理和图像进行了专门优化。
优化后，性能可以进一步提升。
同时，百度昆仑、飞票等深度学习平台的框架都进行了非常好的深度适配，使得编程更加灵活，能够灵活支持训练和预测。
总体而言，在同等性能??的情况下，使用昆仑可以降低10倍的成本。
图5还展示了终端上的百度鸿鹄，这是一款专门用于远场语音交互的芯片。
鸿鹄芯片在毫瓦级功耗下，可支持远场语音交互核心的阵列信号处理和语音唤醒能力。
这些能力将用在哪里？主要在车载语音交互、智能家居等场景，它将带来低功耗和高性能的计算能力，也能为这些场景带来更大的想象空间。
同时，鸿鹄芯片已经在流片时量产，目前已应用于百度相应产品中。
从算力层向上，向下连接芯片，向上连接应用场景到深度学习框架和平台。
AI时代，帮助开发者方便快捷地完成深度学习技术的研发是深度学习平台的使命。
深度学习平台是智能时代的操作系统。
在飞桨工业级深度学习开源开放平台上，我们搭建了一个完整、全方位、全功能的平台。
图6 图6是飞桨的全景图。
在核心框架层，可以支持开发者进行开发、训练、预测等全流程研发工作。
百度本身以及百度的行业合作伙伴也在飞桨上发布了他们打磨的一系列工业级模型涵盖了自然语言处理、视觉推荐、语音等主流AI算法的官方模型库。
在实际场景应用时，往往需要端到端的配套开发套件来完成整个开发过程。
场景更加方便快捷，并且可以重复利用之前所做的各种积累。
飞票目前已经拥有语义理解、目标检测、图像分割、点击率估算四大场景的支撑套件，使用非常方便。
飞桨平台在平台层面使用时还提供了相应的工具组件和服务平台。
这样的平台在开发过程中提供了便捷的框架，在训练过程中提供超大规模的深度学习模型训练技术。
在部署方面，还针对多终端、多平台全面部署高性能推理引擎，以及工业级开源模型库，这些都已经全面提供并可供业界使用。
二、AI算法方向的最新进展 1、语音识别 语音识别应该是AI算法中发展历史悠久的技术，目前的可用性和可用性已经非常高了。
当然，还有不断的技术突破。
图7 百度推出了首个基于流式注意力的在线语音识别服务。
这也是在线语音识别大规模使用注意力模型的全球首次。
使用技术后，语音输入法的准确度相对可以提高50%。
在扬声器等产品中，准确率甚至提高到了20%。
同时，随着端侧智能设备的广泛使用，现在对无网络、弱网络状态下的离线语音识别的需求越来越多。
百度语音技术团队还通过系统优化解决了语言模型裁剪性能损失的问题，使得离线模型现在拥有非常高的识别率。
2、语音合成 图8 我们知道，在语音合成时，如果合成的声音比较机械，缺乏情感，那么听太久会很累。
因此，音色模拟、情感模拟等都将是语音合成中需要克服的挑战。
百度推出的语音合成技术可以打造20句专属语音，定制语音，将语音的音色、风格、情感等元素映射到不同的子空间。
使用时，不同的元素可以以任意方式组合。
全球首个地图语音定制功能已在百度地图上线。
您也可以尝试一下。
您只需录制20句话即可制作个人语音包。
3、视觉理解图9 百度业界领先的OCR物体检测、视频理解、目标跟踪等图像视频技术近年来也在国内外顶级比赛中取得了不错的成绩，这些技术也被运用在机械上已广泛应用于制造、金融、医疗、教育等领域。
4.头像 图10：在头像合成方面，当我们理解大量声音、视觉和文本的能力达到了很高的水平之后，AI算法也在尝试推进头像的合成，形成尽可能多的头像更自然、更拟人、情感更丰富的虚拟形象。
百度的合成头像技术实际上结合了多模态识别和理解，如语音识别、视频理解、面部、身体、口型生成能力，以及语音合成TTS技术，从而实现了业界第一个具有现实生活中的图像，可以制作量产视频，也用于多种场景。
比如，央视与百度合作打造的AI虚拟主播小玲，去年亮相央视五四晚会；澎湃新闻还与百度合作打造了首个现实生活中的虚拟主播，应用于早晚新闻栏目上面；浦发银行与百度合作打造了业界首个金融数字人，具有情感和专业银行知识，能够改善银行的客户服务体验。
5、基于知识图谱的语义理解、语音视觉等技术属于人工智能技术中的感知层技术，类似于人类的感知能力。
人们还具有非常强的认知能力，这主要体现在自然语言处理、知识图谱等语言和知识技术上。
百度构建了超大规模、多样化、异构的知识图谱，包括实体图、事件图、行业图、焦点图、POI图等，这些图将根据需求场景的需要不断扩展和延伸。
图11我给出了一个基于知识图谱的视频和理解的例子。
在利用感知层能力理解视频时，可以利用视觉理解来提取视频中从视觉角度看到的特征；语音识别还可以对视频中人物的一些对话、言论进行语音识别并提取特征；视频的标题和周围的文字也可以被文字理解。
经过这些基本的了解之后，我们还可以结合知识图谱中的视频理解子图，在知识图谱中进行计算和推理。
我们可以将新生成的理解标签和理解特征等完成关联系列操作。
最终运用到产品中，你会对整个视频的内容有更深入的了解。
这是利用感知技术和认知技术进行多模态融合的一个非常典型的例子。
然后我们再看看人类语言的理解。
如果AI技术能够完全、全面地理解人类语言，这将是通向通用人工智能的一个非常重要的技术突破。
当然，这方面正在不断取得新的突破。
图12 百度推出的ERNIE是一个持续学习的语义理解框架。
在此框架下，可以进行知识增强的语义理解。
让我解释一下这意味着什么？例如，如果我们想让AI算法理解实体，我们会利用百科全书和网页的内容来构建实体识别任务，然后使用预训练的模型进行学习，然后进行有针对性的微调在现场。
这样就可以获得对实体识别有更强理解的模型。
对于更复杂的任务，比如构建因果关系这样的识别任务，也可以通过技术手段构建大量的因果知识，然后通过大型的预训练模型进行学习，然后在任务上进行调优和学习。
那么整个过程就把自然语言理解的能力带到了一个新的境界。
百度的ERNIE模型已经学习了超过13亿条知识，也彻底刷新了NLP任务上的任务效果。
它在总共 16 篇中英文文章任务上超越了 Bert 和 XLNet，取得了 SOTA 的成绩。
我们可以看到，图12所示的是，ERNIE模型在不断添加新知识学习的过程中，促进了对自然语言推理、自动问答、文本相似度和情感分析等任务的持续作用。
推动。
6、AI安全图13 百度大脑还打造了完整的AI安全体系，从基础的开源技术矩阵到开放的行业解决方案，再到与学术界、企业、政府、机构等多层次的开放协作，整个技术产品覆盖了云、管、端以及大数据、算法层面的一系列安全风险问题。
这样的安全体系对于AI技术的产业应用也起到了保障作用，能够推动AI时代安全生态圈的构建，让大家在利用AI技术进行各种应用创新的时候，没有任何问题。
安全风险。
不用担心。
以上就是AI新基建中最基本的技术平台的现状。
3、AI应用价值整个新基建不仅仅是一个技术平台，更是AI应用价值的创造。
百度的AI技术应用已广泛应用于互联网产品，如AI赋能的智能搜索、信息流推荐、新一代人工智能地图等，以及以AI为核心能力的智能家居小度系列产品，以及自-驾驶阿波罗等。
AI为百度现有产品带来了很多价值。
另一方面，人工智能技术实际上已经在各行各业展现了其应用价值。
今天我重点分享一下AI+云如何赋能产业变革和创新。
我们先来看看这样一个过程。
图14：刚才介绍深度学习平台时，也有类似的流程介绍。
首先，我们需要面对大量的数据生产和数据应用。
因此，我们在百度云上推出了数据工厂。
在数据工厂中，通过数据众包、处理、标注等一系列任务对数据进行处理。
并结合百度提供的数据集以及整理的第三方行业数据资源，形成基础数据集。
在应用中，通过数据管理、数据评估平台等，整个数据可以形成闭环效果。
完整的闭环数据将充分帮助算法达到最佳效果。
数据产生后，会进入模型工厂。
在AI技术平台的支持下，可以整合算力、数据算法，结合场景生成模型，最终应用到业务系统中。
整个流程和刚才介绍的AI技术平台上非常一致。
1、人工智能技术场景应用案例 图15：智能工业检测。
像巡检这样的场景是我们目前看到的场景，AI技术可以快速植入应用并带来价值。
人们经常讨论人工智能是否会取代大量人类工作并导致人类失业。
事实上，在我们的现实生活中，有很多工作是耗时耗力的，需要多年的经验积累，而且还可能存在危险。
这些工作需要熟练工人且具有危险性，例如高压线路的检查和一系列其他工作。
现在愿意投身这种工作的新一代年轻人越来越少。
那么AI应用于智能工业检测的时候，在场景定义方面，一般来说，目前可以看到的是图像分类、分割、检测等方法的应用，可以快速、准确的识别。
图15中，几个例子包括安全帽佩戴检测，尤其是矿井中的安全帽佩戴检测，可能会解放我们很多人类的工作，还有烟花报警、仪表读数识别等。
对此，应用AI算法后，相当于培训成为一名经验丰富的检验大师，可以显着减少人工投入，降低人工学习成本。
图16 智能质检。
在一线质检工厂，工人每天要长时间工作，尤其是精密零件的质检。
零件非常小，需要在强光下进行。
长时间在强光下观察微小瑕疵，很容易造成工人眼睛疲劳。
我们看到一个例子，这个工厂每天需要对出厂的数万件产品进行全部检验。
这是一项每天10多个小时的高负荷工作，必须检查10000多个零件。
基本上每个工人每分钟需要检查19个零件，每个零件都需要从许多不同的角度和不同的缺陷进行分类。
我们提供人工智能表面缺陷视觉检测设备，利用百度的AI技术和语音技术，自动检测物体表面缺陷的大小、位置和形状，并根据质量进行分类。
总体可以帮助节省 90% 的人员成本。
与原来的工作台相比，整个设备可减少80%的占地面积，漏检率也大大降低。
图17 当然，刚才提到的两者都是基于感知层视觉技术的。
事实上，感知层技术加上认知层技术也可以在智能媒体中发挥作用，通过热点发现、智能写作、智能纠错、智能发布的全流程辅助新闻生产过程。
2.人工智能在抗击疫情中的应用案例。
今天我其实带来了几个有助于疫情期间、整个抗疫过程中疫情筛查和管理的解决方案。
图18展示了AI测温的第一件事。
AI测温是一套可以远距离非接触测量多人体温的设备。
目前已在数百个地点部署，帮助完成了全国10000人的初步筛查。
整个AI测温流程分为几个环节。
首先，当行人经过时，通过红外热像仪捕捉体温，通过检测摄像头持续监测体温，检测远处戴口罩的人脸。
该计划目前也在百度企业内部进行部署，形成企业进入计划。
测温后还可以进行人脸识别、智能监控。
如果与公司的报告系统连接，可以自动识别是否符合复工要求。
这里使用的AI技术是人脸检测和跟踪算法，可以实现准确的人脸定位。
即使您戴着口罩，现在也可以识别自己的身份。
这两个月来，大家一定感受到了，在整个抗疫管理过程中，社区工作人员需要做大量的一线机械性工作。
百度推出的基于智能对话技术的外呼系统，可以帮助跟进人员，对人员进行批量外呼。
人工智能语音随诊可以通过自动外呼系统到达人们身边，与其沟通、收集信息，还可以为防控提供相关提醒。
这些信息可以立即形成结构化的数据分析报告，为后续的一系列决策或管理提供支持帮助。
整个外呼系统使用的技术包括语音技术、自然语言处理技术、知识图谱等。
图19 我们知道，在医护人员最忙碌的时候，数据采集、登记、护理信息录入也是非常重要的工作医护人员每天。
百度与相关合作伙伴共同打造了语音床位护理数据采集系统，可以进行语音输入。
医务人员不需要脱掉手套、口罩或防护服。
他们可以轻松地将语音输入到设备中，并快速输入大量护理信息。
在这个过程中，COVID-19对应的真实临床数据包含了大量的医学专用词汇和专业医学符号，我们的语音系统也可以快速定制进行训练。
在医疗录音场景下，语音识别准确率可达92%以上。
已在烟台传染病医院多个科室部署使用。
图20 此外，病毒分析和疫苗研发也是抗击疫情中非常重要的工作。
2017年，百度提出了LinearFold算法，可以将病毒全基因组RNA二级结构的分析时间从55分钟缩短到27秒，大大提高了RNA二级结构分析的速度。
我们目前正在和很多机构合作，希望AI算法能够帮助医疗科技。
图21 最后要分享的是飞票和联欣医疗开源了肺炎CT图像分析模型。
该模型的开源可以提高医护人员CT影像肺炎筛查的工作效率。
该模型本身可以检测病变，准确率为 92%，召回率为 97%。
目前湘南大学附属医院正在应用。
这些都是AI技术与场景结合带来的一系列价值。
这些技术不断产生应用价值，这些应用价值对于新基建来说非常重要。
4、AI生态系统在与广泛的行业伙伴合作的过程中，我们也看到对于大量的企业来说，在业务创新和应用落地的过程中其实存在着一系列的挑战。
图22：比如在??研发方面，AI技术的应用门槛其实相当高，开发周期往往不可控。
经验丰富的技术人员可以缩短开发周期，但如果是经验相对不足的研发团队，可能需要更长的时间来验证并获得最佳结果。
很多企业在进行AI驱动的产品和解决方案的研发之后，营销以及相应的整个过程也需要大量的资金投入。
我们也希望这些人工智能技术能够更方便地被广大企业所使用。
因此，百度大脑开放平台实际上构建了多层次的开放能力。
最基础的就是飞桨深度学习平台，它有针对场景的定制开发平台和开放能力，以及集成到最终部署的一整套流程。
现在百度大脑开放平台上，已经开放了多项能力，整个百度大脑日调用量超过万亿次。
目前已有超过1万名开发者在百度大脑开放平台和飞桨平台上进行开发，已发布超过10万个模型。
这些模型被用于大量的场景中。
我们可以看到，这样一个AI生态系统实际上正在形成。
人工智能产业化的整个链条比较复杂，作用也比较多。
在整个生态系统中，我们可以看到，从硬件供应商到技术平台，到软件供应到应用开发，再到最终的终端场景，是一个多层次、完整的生态系统。
所以现在这样一个生态系统已经形成，并且在我们的基础设施中不断发挥作用。
在我刚才介绍的大量应用场景中，很多已经落地的应用和解决方案都是在百度大脑生态中开发和实现的。
5.人工智能人才培养 除了技术平台、终端场景和生态角色之外，贯穿始终的很重要的一点就是人工智能和产业智能所需的人才。
人工智能人才中，基础理论人才、算法人才等非常重要。
但在整个应用实施过程中，这类人才会更加重要。
他们是既懂应用场景又懂人工智能技术的复合型人才。
这类人才一般出现在大型科技平台公司，但当我们想要将AI技术与产业广泛融合时，我们会发现这类复合型人才需要各种终端场景、生态系统的生态企业不断培养。
并积累相应的人才。
技术边界和业务理解本身之间存在差距。
我们怎样才能弥合差距？需要这些复杂的人才才能做到这一点。
因此，百度还推出了一系列人工智能人才和应用型人才的培养计划。
今天我要介绍的就是其中一个项目，叫做首席AI架构师培训项目。
如何定义首席AI架构师？我们认为，企业中了解自身业务场景、了解应用中的挑战和问题、了解人工智能技术和算法并能够落地的综合性人才，才是企业的首席人工智能架构师。
。
这类架构师对于需要应用AI技术、进行智能化转型的企业来说非常重要。
我们推出了黄埔学院这样的项目，学生可以和深度学习技术专家进行面对面的深入交流；他们将传递深度学习和技术实现的关键认知；他们将与学生一起分析场景。
需求与AI技术结合的典型案例。
最后，整合人工智能思维、工具、方法和技术方案，解决实际场景问题，在实际场景中产生应用价值。
最后做一下总结。
新型基础设施的建设不仅仅是一个业务平台就能实现的，它实际上是一项综合性工作。
就像我们建设高铁一样，高铁的硬件设施就像我们今天建设的AI基础设施一样。
人工智能基础设施是建立在云平台上、以算力平台和数据平台为支撑的人工智能技术开发平台和能力平台。
全面的场景技术解决方案和人工智能安全保障是强大的大规模技术体系和工程体系。
在此基础上，人工智能要在应用场景中不断产生应用价值，需要支撑持续创新，充分发挥应用价值，从而形成良性循环。
也将推动基础平台的进一步发展，推动整个AI系统进一步进化。
但在人工智能产业化过程中，由于其流程链长、角色复杂，也需要社会整合各方面力量，进行积木式社会创新。
于是，共生共赢的生态系统应运而生。
最后，在基础设施、应用、生态形成的闭环中，我们还需要注重人才的培养，推动应用更加繁荣。
我们要加大力度培养既懂应用场景又懂人工智能技术的新型复合型人才。
我们还需要构建相应的教育培训职业体系，培养各方面的人工智能技术和应用人才，也是人工智能加速产业智能化的重要组成部分。
以上是我对人工智能新基建的理解，以及基于人工智能建设新基建、发展产业智能化需要考虑的几个重要方向。
（作者：36氪文化。