随着实时服务的浪潮逐渐深入我们的日常生活，计算基础设施也开始迎来重大变革。从使用自然语言提供即时的个人智能助理，到通过店面分析得出与顾客购物行为相关的结论，各种实时服务的出现给服务提供商带来了前所未有的巨大市场空间。为了从这些服务中提取价值，一个基本前提是确保数据和见解的即时可访问性；很显然，这种能力在很大程度上需要AI技术作为基础。正因为如此，亚马逊网络服务（AWS）、微软、阿里巴巴和SK电讯等云服务巨头都在开发自己的计算基础设施来提供此类服务解决方案。数据中心运营商现在还需要优化计算以满足实时响应要求。为此，IT架构不仅要应对持续快速变化的工作负载和算法需求（主要由AI驱动），还必须进一步提高计算资源和存储/网络资源的整合水平。这对服务提供商提出了新的挑战：他们需要提供一个基础设施平台，能够实现差异化和卓越的性能，以及高吞吐量、低延迟和灵活的软件/硬件堆栈。该平台还必须能够处理从递归神经网络、长/短期记忆网络、卷积神经网络和基于ApacheSpark集群计算框架的查询加速等实际任务。为了建立这种差异化，服务提供商开始构建自己独特的硬件和软件堆栈。例如，AWSAdvancedQueryAccelerator是一个数据分析平台，包括自定义软件和可编程硬件堆栈。SKTelecom最近还开发了一种语音和视频分析解决方案，该解决方案支持基于其定制软件和可编程硬件堆栈的AI技术。下一轮计算也需要自适应，将软件和硬件结合在一个地方，硬件和软件都必须具有可编程性，以满足业务用例对实时性能、最高吞吐量和低延迟/低功耗的要求消耗。随着实时解决方案的增长和人工智能技术的发展，工作负载的增加和非结构化数据的爆发式增长，数据中心的发展方向正朝着加速计算、存储和网络适应性方向发展。实时预测学术研究人员目前正在使用高性能计算(HPC)来解决现实世界中存在的各种高复杂度问题。为了加快洞察处理过程和大规模HPC部署，原始计算能力、能效和适应性成为决定项目最终命运的先决条件。为了回答世界上最具挑战性的科学问题之一，CERN约20,000名科学家组成的联盟正试图重建宇宙的起源。为此，研究人员必须不断突破技术极限。大型强子对撞机是世界上最大的粒子加速器。27公里长的圆形隧道由超导磁体构成，可将粒子加速到前所未有的能量水平。每个质子每秒以接近光速的速度绕隧道运行11,000次。圆形隧道上还部署了四个锚点（质子每25纳秒经过一次），质子将在这里发生碰撞。粒子探测器将捕获并记录碰撞的情况。整个触发系统分两层实现——第一层触发需要AI技术在3微秒左右的时间内完成事件处理，这对其推理时延提出了极高的要求。至于第二层，自然是大量的数据传输带宽。CPU和GPU根本无法满足这样的要求。因此，研究人员构建了一个FPGA网络，在地下100米深处运行分析算法，不受辐射区影响。该算法旨在过滤动态生成的数据，并识别可以证明暗物质和其他重要物理现象存在的新型亚粒子结构。这些FPGA将运行经典神经网络和卷积神经网络、接收和校准传感器数据、执行跟踪和聚类、运行机器学习对象识别和触发功能——所有这些都在事件数据格式化和交付之前完成。因此，该网络带来了极低的推理延迟（约100纳秒）。实时分析的存储支持高速存储解决方案的采用以及数据密集型应用程序的实际用例的更高性能要求已经使现有的CPU、内存和存储成为瓶颈。为此，研究人员探索的重点已经从计算能力转移到通过计算存储来完成数据处理。这种转变对应用程序性能和整体基础架构效率具有深远的影响。当然，最可行的解决方案是最小化计算和数据之间的距离。集成数据分析和存储可以大大减少系统级的数据瓶颈，提高并行度，降低整体功耗。这种方式也得到了IBM、MicronTechnology等厂商的支持。他们基于这种方法开发了加速存储和计算存储产品，确保所有的处理方案都紧紧围绕着数据。三星电子还推出了SmartSSD，以闪存为骨干，建立高性能的加速计算系统，从而克服CPU和内存带来的限制。通过将智能元素推送到数据所在的位置，三星SmartSSD成功地提高了速度和效率，同时降低了运营成本。复杂网络随着虚拟化计算和容器化工作负载的出现，网络变得更加复杂。当将这些环境扩展到单个服务器之外时，我们必须将它们与复杂的覆盖网络相匹配。Overlay网络的本质是通过数据包封装的概念动态创建和维护的虚拟化系统。监管这种封装必然会给操作系统或虚拟化内核带来处理负担。当与传统网络任务结合使用时，此类解决方案会直接消耗服务器近30%的原始CPU周期。目前，一种常见的覆盖网络管理方法是vSwitch（OvS）协议。基于FPGA的SmartNIC（网卡）可以将近30%的计算负担从主机CPU转移到自身。简而言之，三台配备OvS协议SmartNIC的服务器足以提供相当于四台配备标准网卡的服务器的计算能力。基于FPGA的SmartNIC还显着降低了服务器CPU执行安全和加密任务的计算负担。当前的安全保证方案通常采用深度包检测的形式；一旦在数据包中发现威胁，该数据包就会被丢弃。这种方法可以增强甚至完全取代企业在服务器上运行的传统防火墙软件。此外，SmartNIC还可以轻松承担各种加解密任务。新世界，新秩序在实时服务的新时代，考虑到成本、功耗、纯CPU扩展能力等各种制约条件，单纯使用CPU或多核CPU来满足已经行不通业务需求。.简单地投入更多的服务器CPU永远无法为大多数复合工作负载提供必要的性能。随着摩尔定律的逐渐终结，下一代的CPU可能无法解决这些实际问题。因此，自适应计算加速器将成为一种可行的解决方案，有望在满足广泛的计算需求的同时，大大提高可扩展性，帮助企业控制运营成本。
