当前位置: 首页 > 科技赋能

比特大陆聚焦边缘计算,详细讲解终端AI芯片BM1880

时间:2024-05-22 17:35:56 科技赋能

不久前,比特大陆推出了旗下云端人工智能芯片——SOPHON(算锋)BM芯片。

BM由比特大陆设计,针对图像、视频等提供额外的处理,辅助支持的人工智能硬件加速芯片,峰值运算速度可达3TFLOPs,可以为用户提供强大的硬件加速支持。

近期,比特大陆将推出其边缘计算芯片BM,将用于前端图像、视频、语音、自然语言等深度学习硬件加速。

边缘计算和云计算想必大家都很熟悉。

云计算也可以称为“集中式”计算系统。

在云计算体系中,将建设具有强大计算处理能力的云中心。

用户可以通过网络将本地的复杂数据传输到云端,利用云端强大的计算执行能力快速完成数据处理任务。

然而,云计算并非时时处处“有效”。

云处理延迟较大,依赖于网络流畅性。

因此,对于实时性要求高、数据隐私性高的应用,数据会传输到云端进行处理。

这是非常不合适的。

边缘计算的概念应运而生,边缘计算也可以称为“前端计算”。

对于实时性要求高、数据保密性强、网络资源不足的情况,边缘计算可以按照先来先服务的原则处理数据,只将必要的信息传输到云端。

这样,终端设备可以及时处理本地采集的数据,响应一些特殊的报警信息,并及时通知用户进行响应。

可以说,边缘计算和云计算是一种局部与整体的关系。

云计算负责“统筹”全局,处理实时性要求不高的复杂信息,而边缘计算则负责守护自己的“一亩三分地”。

对信息进行预处理,及时抛出异常警报,应对突发情况。

比特大陆边缘计算——BM芯片概述 根据BM最新披露的技术信息,BM是一款专注于边缘应用的深度学习推理人工智能芯片。

其主要应用方向是图像、视频等类型的深度学习推理。

产品支持丰富的AI功能:如人脸检测、识别、表情分析等;人体属性及姿势分析;物体检测和识别;车牌识别;从功能模块图来看,BM是一款人工智能芯片,额外支持视频、图像的人工智能处理。

在核心部分,BM包含一个TPU(TensorProcessingUnit),其中包含一个MAC并支持Winograd卷积运算。

TPU用于人工智能深度学习推理的硬件加速,可以大幅提升计算速度,加快系统推理学习星速。

与比特大陆其他人工智能智能芯片一样,BM的TPU也配备了调度引擎,为张量处理器核心提供极高带宽的数据流。

对于8位数据宽度的数据,其计算速度高达1TOPs,在Wingorad卷积加速运算下,可提供高达2TOPs的计算能力。

值得注意的是,BM的典型功耗仅为2.5W,但却可以提供1TOPs的算力,对于边缘计算来说已经足够了。

TPU还配备2MB SRAM,用于系统性能优化和数据重用,以提供最佳的编程灵活性。

BM还提供CPU用于人工智能深度学习算法的编程操作。

BM的CPU有两部分。

一是应用处理器,由双核ARM A53组成,运行频率为1.5GHz;另一种是精简指令RSIC-V处理器,由运行在1.0GHz的单核RISC-V组成。

BM人工智能深度学习系统的计算结构配置可以说是恰到好处。

双核CPU用于执行深度学习算法,TPU用于深度学习算法的硬件加速,单核CPU可用于处理外设相关信息。

这样的配置可以轻松满足外设的实时性和深度学习算法的流畅执行的要求。

在专属功能方面,BM配备了视频处理子系统的硬件模块。

这个模块非常贴心。

在图像视频处理方面,用户基本不需要添加外围设备,可以大大降低产品开发成本。

视频子系统位于功能图的右半部分,包括三部分:MJPEG编码器/解码器、H.解压缩器和视频后处理器。

MJPEG编码器/解码器和H.解压缩器的配置也与当前网络视频资源类型非常一致。

视频监控设备最常用的视频格式是MJPEG和H.,其中MJPEG是监控厂商最初采用的视频编码和压缩格式。

MJPEG 占在线和监控视频档案资源的大部分。

H.格式是一种有损压缩格式。

其压缩算法比MJPEG更先进,具有更高的压缩比、更清晰的图像质量和更快的传输速度。

H.是当前网络和视频监控中常用的压缩格式。

Video Post Processor部分可以对进入BM的视频流进行预处理。

该模块通过硬件管道的执行,支持深度学习中常用的视频操作,如色彩空间转换、尺寸裁剪、缩放等操作。

视频预处理不需要软件部分的参与,大大减轻了CPU的工作量。

内存方面,BM配备了支持DDR3/DDR4、LPDDR3和LPDDR4四种规格内存的功能。

用户的程序和数据流可以存储在内存中,以加速算法的执行。

在本地存储方面,BM还配备了常用的存储设备接口。

结合相应的设备,BM可以在本地读取和存储数据流。

例如,当需要深度学习处理的数据存储在本地时,系统可以直接从本地存储设备访问。

将图像、视频或其他数据流读入内存以进行推理和学习处理。

存储设备接口包括SD/SDIO、eMMC、SPI NOR闪存、NAND Flash等。

SD/SDIO具备高速功能,支持高达0.5MHz的工作速率。

该接口除了读写SD卡外,还可以通过添加外设来添加蓝牙、摄像头、GPS、.11 a/b/。

g/n无线等功能,高速接口速度可满足大数据流的传输要求。

eMMC 最大支持 32GB 闪存。

用户可以根据自己的存储/读取等操作的需要,选择合适的闪存来访问系统。

同时BM可以支持NAND Flash和SPI NOR Flash。

BM还配备2个以太网接口和USB接口。

以太网接口支持100M和1000M速度。

USB接口配备了高速USB3.0接口和支持主/从OTG2.0的接口。

BM除了从本地存储设备读取数据流信息外,还可以通过以太网接口、USB接口接收外设或主机传输的图像、视频等类型的流数据,进行深度学习推理运算或其他视觉运算。

处理任务。

调试接口配备通用JTAG接口,用户可以通过该接口方便快捷地下载和调试程序。

BM在功能外设接口方面也提供了充足的支持:BM配备了4个通用串行接口UART、5个I2C接口、通用GPIO端口和16个PWM输出。

UART接口和I2C接口还可以提供低速通信功能与外设交互。

从数量上看,有4个UART通道和5个I2C通道。

用户可以根据开发需要方便地外接足够的外部传感器。

由此可见BM在设计上是非常周到的。

用户在开发时基本上不需要担心接口的问题。

不足且担忧。

通用GPIO口和16路PWM可以提供强大的反馈控制功能。

在深度学习边缘计算中,对于需要及时处理的突发报警情况,BM核心程序可以直接驱动GPIO端口或PWM接口来及时响应外部设备。

进行应急响应或报警提醒。

BM是一款专注于图像、视频深度学习处理的边缘计算人工智能芯片。

除了对图像/视频的强大支持外,还配备了2路音频信号I2S接口。

该接口可以支持音频信号的输入和输出功能。

芯片本身只提供接口,并没有配备响应式的硬件编解码。

相关的编解码工作可以由软件部分完成。

BM的软件支持和开发生态链 在开发人工智能深度学习产品的过程中,用户选择了人工智能深度学习硬件芯片后,由于硬件往往是固定的,无法调整,因此软件支持将成为企业更关心的问题。

此时的用户。

强大的软件支持意味着流畅的开发速度、稳定的产品性能以及更低的时间和投资成本。

比特大陆在其开发生态链上拥有完整的开发体系,为其人工智能芯片提供了完整的支持。

与其他深度学习人工智能芯片BM/BM一样,官方的BM也有强大的软件支持。

比特大陆为BM用户提供强大的深度学习模型编译器和软件SDK开发包。

用户无需在程序算法移植上花费太多精力——主流深度学习架构,如Caffe、Tensorflow等都可以轻松移植到BM上。

在平台上。

同时,常见的神经网络模型,如CNN/RNN/DNN等模型也可以在BM上执行。

BM应用模型从上述软硬件部分的分析可以看出,BM具有优秀的深度学习硬件加速能力。

显然,除了使用BM作为边缘计算的协处理器之外,在计算量不是很大的情况下,例如本地视频监控,BM也完全有能力作为主处理器。

BM拥有丰富的外设和高速通信接口,峰值计算能力可达1TFLOPs,非常适合前端处理。

下图展示了BM常见的三种应用方式:第一种是“云边”计算系统,即“边缘计算”方式。

在“云端”的方式下,系统不仅要处理来自四面八方的数据,还要监控异常情况。

一旦检测到异常情况,“端”部分需要及时抛出异常并提供处理方案,以保证端系统的安全。

系统中,云端部分主要负责处理前端通过通信链路(如网络)发送来的复杂数据流,协调整个人工智能深度学习系统;而在末端部分,比如在视频监控中,结合传感器端系统,通过简单的本地处理,可以及时发现火灾,结合人脸识别/动静等操作,也可以及时发现盗窃行为。

物体; BM位于系统前端,中央云处理部分负责系统的调度以及深度学习中复杂数据的处理。

推理学习。

同时,这种方法可以减少系统对网络资源的依赖。

由于BM位于本地,距离原始数据流的来源最近,因此可以率先对进入系统的数据流进行初步分析,发现异常情况,完成前端的预处理,然后将压缩和精简的数据传输到云端。

然后由云处理。

第二种应用方式是BM作为协处理器。

BM可以很容易地开发成协处理器。

运行人工智能深度学习程序的主机会将图像、视频等需要深度学习推理的数据流传输给BM。

BM利用自身强大的推理学习能力进行快速计算,然后将结果返回给主机,主机再进行处理。

第三种应用方式是BM作为主处理器。

BM拥有强大的深度学习计算能力,运行速度高达1TFLOPs,采用高速CPU。

很多时候,它完全有能力作为人工智能深度学习推理任务的主处理器。

下图是它的应用框架图。

BM作为主处理器,直接接收图像、视频等类型的数据流,进行深度学习推理运算。

根据推理结果,可以通过控制接口直接实时控制外部设备。

BM官方产品 基于BM,比特大陆还推出了一些以BM为核心的人工智能产品。

我们来简单介绍一下每款产品。

USB人工智能算力棒:这款产品是开发者必备!只需插入USB,您的PC将成为计算能力之王!单从外观来看,它拥有铝合金外壳,散热精美。

盒子,科技感十足。

此时USB人工智能计算棒中的BM就是一个协处理器应用。

当用户在PC或其他支持USB接口的设备上运行深度学习算法时,自身设备的性能往往会导致算法执行缓慢。

更换设备不经济且耗时。

有了这款USB人工智能计算棒,只要轻轻连接到用户的主设备上,大量的深度推理过程就交给了计算棒,释放了主设备的资源,提升了系统流畅度。

USB人工智能模块:该产品是一款与BM集成的PCB人工智能算力模块。

从图中可以看出,这是一个最小化的系统。

客户可以直接将该模块添加到需要深度学习推理的产品中,无需重新绘制电路板。

结合该模块,任何产品都可以轻松实现AI功能。

BM开发板:这部分无需进一步解释。

对于人工智能深度学习的初学者和研究者来说,开发板是入门和进阶的最佳选择。

集成的硬件系统、结构良好的学习资料、充足的代码示例无疑是开发者和学习者的最佳选择。