过去几年，AI芯片初创企业如雨后春笋般涌现。今天，一批早期参与的公司已经开始成熟，并通过增加模块和芯片卡来扩大他们的产品范围。同时，他们以优秀的芯片设计和全球分销渠道建立了自己的市场竞争优势。Hailo模块以色列AI芯片初创公司Hailo推出了两款基于其Hailo-8AI加速器芯片的AI加速器模块，主要面向边缘应用场景。这些模块提供标准M.2和mini-PCIe格式，非常适合智能城市、智能零售、智能家居和工业4.0应用中的无风扇“边缘设备”。这些边缘设备主要用于执行多视频流分析等任务，旨在减少延迟并避免边缘部署方式下数据中心化带来的隐私问题。Hailo-8的“结构定义数据流”架构使其能够以3TOPS/瓦特的性能实现26TOPS的处理吞吐量。它获得了ASIL-B应用的汽车级认证，并且符合AEC-Q1002级标准。Hailo也在近期发布了新数据，表明其模组在各项性能基准测试（包括针对谷歌EdgeTPU优化的EfficientNet-EdgeTPU）测试模组中全面击败IntelMyriad-X和谷歌EdgeTPU（CoralM.2）。考虑到Hailo-8的性能高达26TOPS，而另外两个对手的巅峰性能只有可怜的4TOPS，这样的成绩并不让人意外。令人惊讶的是，Hailo的内部测试发现，GoogleEdgeTPU模块的平均性能可以高达看似参数相似的IntelMyriad-X模块的两倍。Hailo芯片与这两个市场领导者正面竞争。图中的条形图显示了各个模块每秒的处理帧数。Hailo-8已用于富士康的BOXiedge，这是一种边缘设备，旨在在边缘位置处理视频。无风扇设备配备??了Socionext的SynQuacerSCA11并行处理器和Hailo-8，可用于加速深度学习推理过程。这家位于特拉维夫的初创公司成立于2017年，目前拥有100多名员工。迄今为止，他们已从NEC、ABB等战略投资机构融资超过8800万美元。GroqCardsGroq目前正在以服务器节点的形式销售其张量流处理器（TSP）芯片，该芯片将8个PCIe卡集成为一个，可在数据中心快速进行AI推理。Groq的TSP达到1POPS（1000TOPS），这使其成为业界最强大的TSP之一。根据Groq公布的数据，其在ResNet-50v2数据集上batchsize1的测试中可以达到18900IPS（inferencespersecond），这无疑是目前最快的商用AI加速器芯片。Groq的处理器拥有极其精简的硬件设计，执行计划任务在软件层面完成。Groq的编译器协调所有数据流和时序，以确保计算不会停止，从而使延迟和性能更加可预测。该公司近期宣布已收到新的注资资金，但拒绝透露募集资金的具体数额。此外，Groq还暗示正在扩大其受众市场，包括汽车行业。Groq节点是一个包含8颗TPU芯片的5U设备，可以提供高达6POPS的AI推理性能。新的Groq节点集成了8个Groq卡（8个TPU芯片），以5U大小和3.3kW的功率提供6个POPS的性能。Groq解释说，这种性能和功耗的完美结合将使该产品在优化数据中心的总体拥有成本(TCO)方面具有显着优势。Graphcore分销网络来自英国的AI加速器初创公司Graphcore宣布正式建立全球渠道合作伙伴网络。该公司是2018年首批推出芯片产品的公司之一，并于今年夏天宣布了其第二代芯片。ColossusMark2的推出承载着Graphcore与市场领导者Nvidia正面竞争的雄心，它可以在数据中心带来高达约250TFLOPS的AI训练性能。Graphcore的系统级解决方案IPU设备是一个1U刀片服务器，内含四颗ColossusMark2芯片，可提供Petaflop级AI计算能力，FP16精度。它还提供IPU-POD，可以保证16个IPU设备可以串联或并联运行。Graphcore的IPU-POD包含16个IPU设备（总共64个IPU芯片），用于HPC应用。Graphcore表示，其IPU已在金融服务、医疗保健、消费互联网、学术研究等多个领域得到实际应用。Graphcore的“精英合作伙伴计划”旨在建立IPU设备分销商和经销商网络。合作伙伴包括服务器制造商戴尔、浪潮、2CRSI和科学超级计算机制造商源讯，欧洲经销商波士顿有限公司，系统集成商BSI，中国经销商神州数码，科学计算经销商Lambda，香港的MacnicaCytech，为美国联邦政府客户的MeadowgateTechnologies，韩国分销商Megazone、英国HPC技术分销商OCF、HPC服务器制造商PenguinComputing、欧洲和美国分销商TechData，以及关键任务/美国政府专业供应商WildflowerInternational等。
