AI推理市场在过去的三四年里发生了翻天覆地的变化。以前，边缘AI甚至不存在，大多数推理能力发生在数据中心、超级计算机或政府应用程序中，这些通常也是大型计算项目。在所有这些情况下，性能都是至关重要的，并且始终是首要考虑因素。放眼今天，边缘AI市场已经大不相同，尤其是当它进入更多商业应用时。对于这些用例，主要关注的是低成本、功耗和小尺寸，而不是原始性能。通过硬件-软件协同设计平衡更好的性能在查看AI芯片时，很明显一个芯片与另一个不同。芯片需要变得更小才能在低成本、低功耗、小尺寸边缘AI市场中发挥作用。随着5G开始出现，更清楚的是，将无法随时将原始数据发送到云端进行处理。边缘必须有一定的智能才能解决99.9%的情况，而数据中心实际上只需要用于极端情况。一个完美的例子是安全摄像头。EdgeAI需要能够查明是否有任何可疑活动发生，以及周围是否有人。然后，如果发现任何有趣的东西，这些部分可以发送到数据中心进行进一步处理。然而，发送到数据中心的数据实际上只是整体推理的一小部分。在边缘推理AI通常意味着要满足很多约束，有时如果你想运行非常大的复杂模型，你实际上只需要在一小部分数据上运行这些模型。边缘AI推理的早期设计中的另一个误解是，一种放之四海而皆准的方法就足够了。这也被证明是错误的，因为专用芯片的出现显示了它们的优势和能力。关键是真正围绕算法来打造芯片，因为如果真的在磨练算法，就能获得更好的性能。正确的平衡实际上是获得最有效的计算，就像一个特殊的硬件，但具有编译时可编程性。可编程性是关键这个行业确实处于人工智能发展的风口浪尖。未来几十年，我们将在这一领域看到的创新将是惊人的。与任何长期存在的市场一样，您可以期待变化。这就是为什么不为某些客户模型设计超级专用芯片变得至关重要的原因。如果我们今天这样做，两年后当芯片到达客户手中时，型号可能已经发生了重大变化——客户的要求也会发生变化。这就是我们不断听到有关公司最终获得人工智能推理芯片的故事的主要原因——然后发现它们的表现不如预期。如果在芯片结构中内置可编程性，这个问题就很容易解决。AI灵活性和可编程性在任何边缘AI处理器中都至关重要。客户端的算法周期性变化，系统设计也会变化。随着边缘AI功能逐渐成为主流，芯片设计人员需要能够适应和改变客户的模型，而不是根据他们“认为”的情况进行选择。我们一次又一次地看到这一点，这就是编译器如此重要的原因。编译器中有很多对最终用户隐藏的技术，它们都围绕着分配资源以确保以最少的能量高效地完成所有事情。另一个受到密切关注的关键特性是吞吐量。现在正在设计好的推理芯片，以便它们可以非常快速地在芯片周围移动数据，这意味着它们必须非常快速地处理数据，并且非常快速地将数据移入和移出内存。芯片真正重要的是推理引擎在给定模型、图像大小、批量大小、过程和PVT（过程/电压/温度）条件下可以提供多少吞吐量。这是衡量其性能的首要指标，但令人惊讶的是很少有供应商提供它。边缘人工智能向前发展如今，许多客户对吞吐量提出了更高的要求，并正在寻找解决方案来实现更高的吞吐量和更大的图像尺寸，同时仍能获得与今天相同的功率或价格。当他们得到它时，他们的解决方案将比竞争对手的更准确和可靠，然后他们的市场采用和扩张将加速。因此，虽然今天的应用程序有数千或数万个单元，但我们预计此类应用程序将随着提供越来越多的吞吐量和功率的推理的可用性而迅速增长。边缘AI市场发展迅猛，芯片厂商也在争夺这一市场的一席之地。事实上，预计到2020年代中期，人工智能销售额将迅速增长至数百亿美元，其中大部分增长来自边缘人工智能。没有人可以预测未来的模型，这就是为什么在设计时考虑到灵活性和可编程性更为重要。
