AI服务平台的成本和效率，是各大服务商一直在努力解决和改进的问题。具体来说，如何在满足客户需求的同时最大限度地降低整体系统资源的消耗，以及如何通过提高深度学习工作负载的利用率来降低成本。近日，MicrosoftAzureResearch团队合作构建了一个新的AI基础设施服务，代号为“Singularity”。用研究人员的话说，这是“一种全新的人工智能平台服务，将成为微软内外人工智能的主要驱动力”。在构建的分布式基础设施服务之上构建、扩展、试验和迭代其模型的方法。论文地址：https://arxiv.org/pdf/2202.07848.pdf在一篇系统介绍Singularity服务的论文中，研究人员表示：“Singularity的核心是一个新颖的、工作负载感知的调度器，可以透明地抢占和弹性扩展深度学习工作负载，并在不影响正确性和性能的情况下，在全球范围内提高AI加速器（如GPU、FPGA）的利用率。”据介绍，使用Singularity服务，事件Workloads可以动态、透明地占用和迁移到一组不同的节点、集群、数据中心或区域，并准确执行，还可以根据需要调整大小（即弹性缩放）。一组不同的给定类型的加速器。SingularityPlatformArchitectureSchematic用户不需要对代码做任何改动，也不需要使用任何可能限制灵活性的自定义库。据微软称，这种方法显着提高了深度学习工作负载的可靠性。该论文的作者包括Azure首席技术官MarkRussinovich；合作伙伴架构师RimmaNehme，他在AzureCosmosDB工作直到2019年，然后他搬到Azure从事人工智能和深度学习工作；和技术研究员DharmaShukla等。与今天使用的弹性负载调度机制相比，Singularity调度器可以将每个worker一对一映射到一个物理GPU，或者使用多对一映射来虚拟化物理GPU和跨多个worker的时间片，world-大小保持不变。相比之下，目前的弹性机制调度器会从上一个checkpoint重新开始工作，将world-size缩小到四分之一，造成资源浪费（比如初始化和迭代，因为上一个checkpoint需要重复）。做）。测试结果表明，在不同的模型上，使用奇点服务（DP）获得的性能提升相对于基线水平（B）。在透明弹性负载调度性能方面，Singularity取得了平均7%的优势。研究人员表示，Singularity在深度学习工作负载调度方面取得了重大突破，将弹性等小众特性转化为主流特性，并在此基础上实现了深度学习工作负载的调度。奇点使工作负载可替换性达到前所未有的水平。工作负载可以利用全球分布式车队中任何地方的闲置资源。Singularity提供了简单的用户体验：用户只需关注机器学习任务本身，无需考虑检查点或弹性负载问题。这些基础设施的优化对用户是完全透明的。四年前老项目的“重生”？ZDNet报道称，Singularity可能是将微软之前推出的Brainwave项目推向商业化的下一阶段。微软此前曾讨论过将FPGA或现场可编程门阵列作为服务提供给客户的计划。2018年，微软披露了其“Brainwave”项目，旨在在Azure中提供快速的AI处理和计算能力。当时，微软在云中提供了由Brainwave提供支持的Azure机器学习硬件加速模型的预览——这是一种基于FPGA的处理平台，面向针对AI工作负载的客户。Brainwave由一个高性能的分布式系统架构组成；在可定制芯片(FPGA)上运行的硬件深度神经网络引擎，以及用于部署训练模型的编译器。事实上，这并不是微软第一次在自家平台上使用Singularity一词。微软此前曾使用Singularity来命名一个微内核操作系统和一组完全在托管代码中开发的相关工具和库。Singularity最终催生和/或影响了微软的其他几个云平台和操作系统项目，Barrelfish、Helios、Midori和Drawbridge等项目都产生了重大影响。AI计算平台，各大厂商争相布局。值得注意的是，微软已经开始布局人工智能高性能计算和加速计算平台建设。2019年，微软向OpenAI投资10亿美元，并于一年后宣布与OpenAI合作，专门为OpenAI打造了公开记录的第五大最强大的超级计算机。虽然微软与OpenAI合作打造的AI超级计算机专用于OpenAI，但微软一直表示，他们计划通过AzureAI服务和GitHub向更多用户提供大型AI模型和训练优化工具。微软还在其“AzureAI”的旗帜下为不需要专用超级计算机的客户提供各种加速计算服务。2021年11月，微软宣布将在Azure中使用80GBNVIDIAA100GPU来扩展其AI超级计算机阵容。微软并不是唯一一家试图在内部和客户之间提供人工智能超级计算能力的科技公司。Meta也在做同样的事情，如果不出意外的话，Meta已经将这项工作定位为解锁Metaverse的钥匙。
