更多信息请访问：与华为官方共建的鸿蒙科技社区https://ost.51cto。com【本期看点】主题：《老子到此一游系列》老子游河。深度学习支持数据压缩。贯穿整个生命的无线传感器网络。SFFT的前世今生。[技术DNA][智能场景]无线传感器网络（WSN）说到无线传感器网络，你可能很自然地把它拆分成你熟悉的三个概念：wireless-sensor-network。无线和网络这两个概念大家已经非常熟悉了。结合这两个概念：无线+网络=无线网络就是我们“赖以生存”的WIFI。再介绍一下感应器，感应器是一种先感应再传输的检测设备（比如走廊里的声控灯，银行里的感应门等）。“感”是感受被测信息的能力；“传输”是将感知到的信息按照一定的规律转换成电信号或其他所需形式的信息输出的能力；“器”是为了满足信息传递的需要。、处理、存储、显示、记录和控制检测装置的要求。背景目前，我们正处于第三代计算机演进，称为普适计算时代。在这个时代，计算机已经开始消失在周围的物体中，人们甚至可能不知道他们在日常生活活动中与计算机进行交互。实现普适计算的关键技术之一是无线传感器网络(WSN)。如何构建无线传感器网络=传感器节点+无线网络小型微控制器板传感器传感器节点：三个子单元。传感单元-获取感兴趣的目标事件/数据。处理单元-管理收集的数据。通信单元——无线电收发器——在节点之间交换信息。传感器节点被组织起来形成一个无线传感器网络。简单来说，它是一种将众多传感器节点组合成网络，然后利用无线通信技术进行综合信息处理的技术。建立WNS需要解决的三大问题1.信息管理体系结构、多传感器采集信号时的信息冲突和交互问题在多传感器系统运行过程中，“有用数据”和“坏数据”必须不断整合。然而，好数据和坏数据的简单组合总是会产生不准确的结果，因为坏数据“污染”了好数据。因此，有必要不断使用所有可用信息，无论是系统派生的还是内生的，并在理论框架内对其进行相应建模，以便在运行时数据中不断评估和纠正来自不同传感器的观察结果，并根据其相关性加以利用.2.敏感数据加密和密钥管理传感器节点随机分布，容易受到恶意攻击。3.无线传感器网络中的功耗和功耗管理传感器网络中的传感器节点由电池供电，数量庞大，更换和充电在实践中是不可行的。最关键的问题：传感器节点上的无线电收发器是功耗的主要来源。节能方案占空比方案-协调定义网络中节点之间的唤醒和睡眠时间表。通俗点说：996节点，定时开关机，该点下班回家，关机睡觉网内方案-聚合技术+数据压缩-减少传输数据量。*聚合技术方案。不同的传感器节点——提取数据集（特征、统计信息）——路由（路由器从一个接口接收数据包）组合——转发和汇聚节点。基本组成：路由算法+数据聚合+数据压缩/数据表示。路由算法：聚合函数—>提取最大价值—>汇总数据的平均值—>减少影响密集传感器网络功耗的通信数据量。缺点：当聚集度高时。大部分原始结构在提取的数据中丢失，仅提供粗略的统计数据，没有局部更改。解决方案：数据压缩方案-不需要密集网络和路由算法-压缩算法在每个本地节点上独立于其他节点执行-分布式数据压缩方法+本地数据压缩方法。*数据压缩。可以满足需求：降低计算成本，节约能源。原因：由于无线传感器节点上的通信单元是主要的功耗单元，因此可以采用数据压缩方案来减少网络中交换的信息量，从而节省电能。比率越高，数据压缩越好，节能百分比越高。然而，当应用数据压缩算法时，传感器节点的处理单元需要更多的功率来运行该算法。*商用传感器的节点约束。在商业无线传感器节点的实际应用中，这些节点通常体积小，能够通过一组传感器、低数据率无线电收发器和小电池来感知环境现象。*硬件限制。处理限制：著名的无线传感器节点平台配备了AtmelAtme-ga128L和TexasInstrumentsMSP430微控制器，它们的指令存储器分别只有128和48KB。它们的处理时钟从4到8MHz不等。解决方案：在这些约束下，有必要为无线传感器网络的应用设计一种复杂度低、编码量小的压缩算法。传感器精度误差。原因：硬件中的固有噪声-制造时-规定了工作范围、精度。问题：用户只知道测量值在误差范围内，但不知道误差的大小和相关的误差概率。结果：无损数据压缩算法，保证压缩和解压过程中信息的正确性，对于商业节点——效率低下。有损压缩算法-导致信息丢失-更适合在只允许丢失噪声的情况下-实施去噪技术。结论：在某些应用中，如果他们使用误差幅度较大的传感器，则有必要避免实施无损数据压缩，使用有损压缩和去噪技术更为合理。应用实例军事领域的敌人跟踪在军事领域，由于无线传感器网络密集且随机分布，非常适合在恶劣的战场环境中使用。利用无线传感器网络可以监测敌区兵力和装备，实时监测战场态势，定位目标，监测核攻击或生化攻击等。保障智能交通安全畅通在智能交通领域，由于WSN的密集和随机分布，非常适合灵活多变的环境。利用WSN可以实现对监控区域内车流、路灯、交通设施等的实时监控。家庭自动化应用中的人体跟踪。医疗保健应用中的患者监护。基于深度学习的3D点云几何压缩背景在过去的几年里，人工智能发展迅速。深度学习作为人工智能的主流技术，已经成功应用于解决各种二维视觉问题。在三维层面，由于点云表示在计算机视觉、自动驾驶、增强现实（AR）、智慧城市、虚拟现实（VR）等领域有着广泛的应用，深度学习取代了PCL等传统方法而Draco来处理点云数据已经成为今天或未来的必然趋势。点云数据在自动导航、沉浸式通信等现实生活领域中发挥着重要作用。为了满足数据传输效率和数据存储的严格要求，需要采用相关的压缩比更高的无损压缩方案。相关学者在2019年提出可能是第一个基于深度学习的点云压缩算法。2020年开始逐渐普及，目前相关技术也比较成熟。什么是“点云”点云是三维坐标系中点（X、Y、Z、Nx、Ny、Nz）的集合，但这些点不是普通的点，它包含了丰富的信息，每个A点都会有自己的X、Y、Z坐标和对应的法向量，因为大量离散的点聚集在一起，从远处看就像一朵云，所以称为点云。简单来说，我们可以把握事物的轮廓。通过点的颜色，可以知道点的密度，可以得到其他属性。那么这些3D点是如何得到的呢？它们主要通过激光雷达等传感器进行扫描，以更好地表达位置信息。图片中这些看起来像热像的东西就是点云数据。点云生成点云生成的方法有两种，算法和软件，其中很多都是基于深度学习算法，将无人机拍摄的图像制作成3D点云。点云补全一般类似于GAN和Unet编解码网络。其中GAN全称GenerativeAdversarialNetwork，可用于目前比较流行的换脸等媒体场景。OMGD是一种相关的尖端压缩算法。VoxelVoxel是VolumePixel的缩写，是三维空间划分中数字数据的最小单位，类似于二维平面上的像素。就像著名的沙盒游戏《我的世界》一样，世界上的许多建筑都是由1x1的小方块组成的。像像素一样，体素本身不包含关于它们在空间中的位置（即它们的坐标）的数据，但可以从它们相对于其他体素的位置推断出来。BPPBPP（bitperpixel）是判断压缩算法好坏的重要指标之一，表示每个像素占用的比特数。出于压缩目的，BPP越小越好。RepresentationLearning为了提高机器学习的准确性，我们需要将输入信息转化为有效的特征。这种行为称为表示。表征学习是一种可以自动学习有效特征并最终提高机器学习性能的算法。3D点云几何压缩的深度学习只有两件事要做：点云表示学习和点云数据压缩。点云表示学习在这里起到了预处理的作用，预处理后数据可以更方便的进行压缩。点云几何压缩点云是大量的点，存储这些点云数据会消耗大量内存，不利于传输。举个不恰当的例子，如果未来有一天你开着一辆无人驾驶汽车，在行驶过程中无人驾驶系统突然卡住了，你将失去两条生命。可能有人会说我们只需要不断给车加内存就行了？但是汽车的容量是有限的，增加这些设备就意味着增加汽车的尺寸或者缩小其他部件的尺寸，汽车制造商更多的是要考虑成本。因此，为了让大家从中受益，点云压缩就显得尤为重要。点云压缩一直是计算机图形学的一个重要研究方向，包括三种类型：几何压缩、属性压缩和动态运动补偿压缩。这里，研究几何压缩。一般来说，体素模型的体、面、边、点的形状分布既不规则也不均衡，其他压缩技术难以适应其特性而获得高效的压缩结果。几何压缩使用尽可能少的位来反映连接信息和几何信息，并将这些位按顺序排列形成位数据流，然后用数据压缩方法对位数据流进行压缩。它的传统算法主要是PCL和Draco。新兴的是本文的重点。是一种基于深度学习的稀疏点云几何压缩算法。它可以实现比现有任何压缩方法更高的压缩率，并且压缩损失可以接受。它还提供三种不同分辨率的输出，适用于不同的场合。但在这里，我对PCL和Draco做一些简单的介绍：PCLPCL全称Pointcloudlibrary（点云库），于2011年推出，属于机器视觉范畴。类似于OpenCV获取和处理二维信息。它是一个独立的、大型的、开放的跨平台2D/3D图像和点云处理项目，根据BSD许可条款发布，因此可以免费用于商业和研究用途。该库包含许多先进的算法，PCL与机器人操作系统ROS完全集成，并已用于机器人领域的各种项目。从0.6版本开始，PCL已经移植到Windows、MacOS和Linux。最新版本是1.12.1，安卓也用的。因此，PCL应用易于移植和多方发布。另外，PCL的压缩比可以根据实际需要进行调整。上图是对点云数据集进行PCL可视化操作的结果。DracoDraco是谷歌于2017年推出的开源库，用于压缩/解压3D几何网格和点云，旨在改进3D图形的存储和传输。Draco专为压缩效率和速度而设计，代码支持压缩点、连接信息、纹理坐标、颜色信息、法线以及与几何相关的任何其他通用属性。使用Draco，具有3D图形的应用程序可以在不影响视觉保真度的情况下显着缩小。对于用户来说，这意味着应用程序可以更快地下载，浏览器中的3D图形可以更快地加载，VR和AR场景因此可以以一小部分带宽快速传输和渲染。Draco算法同时支持有损和无损压缩，它提供了10个可选的压缩级别，还可以通过减少量化位数来支持进一步的有损压缩。3D渲染性能可以在官网Draco3DGraphicsCompression的Demo子页面在线测试。事实上，Draco最初是由Chrome团队设计的。Draco开源后不久，有网友测试并复现：可以看到，经过编码后，点云文件的大小从原来的3mb明显减小到110kb，但是此时的文件不能正常可视化。它只能用于传输和存储，所以我们需要重新解码。解码后是431kb，其实并没有大多少，但是我们注意下面编码前后的点云图像质量对比，发现两者肉眼几乎无法区分，而且点的数量clouds没有变化，都是35947个数据点。可见Draco的编码效率是非常强大的。基于深度学习的压缩学者设计了一种新的基于深度学习的稀疏点云几何压缩方案，可以实现比现有任何压缩算法更高的压缩比，压缩损失是可以接受的。此外，它还提供了三种不同分辨率的输出，适用于不同的场合；基于矩阵运算，支持GPU并行压缩多个模型，大幅提升处理效率。算法测试ShapeNet数据集是一种稀疏点云数据集，不常用于点云压缩任务。然而，稀疏点云可以用来测试压缩算法，因为它们比密集点云更难压缩，从而更好地反映算法的效率。稀疏点云表示具有较少点的形状或表面，并且包含比密集点云更少的冗余信息。为了比较简化斯坦福兔（Stanfordrabbit）点云时稀疏点云压缩和密集点云压缩的区别，采样的2048和35947个点的区别，使用PCL和Draco对两个模型进行压缩，得到结果如下图所示。bpp指的是每点压缩数据的比特数，loss是通过RMS来计算的，以减少计算量：结果表明，稀疏点云压缩往往比dense更难实现高压缩比和低重建损失点云压缩。为了清楚地展示算法训练过程，学者们选择了几个模型并在不同的迭代中重构点云。模型的细节逐渐浮出水面：编码的最后一层称为瓶颈层，瓶颈层的维度和每个浮点数占用的比特数是影响压缩结果的两个关键因素。将使用“PointNet++、TensorFlow”等技术的基于深度学习的压缩算法与PCL和Draco在最终条件下进行对比，Ours-16和Ours-32分别代表了16位和32位的单个值的表示方式，并且讨论压缩比、重构损失、计算量等一系列参数。结果表明，基于深度学习的新算法在保证重建损失小的情况下，压缩比比Draco高10倍，比PCL高110倍。但是，有优点也有缺点。PCL和Draco速度更快，内存效率更高。原因是PCL和Draco都是基于C的，比基于Python的新算法效率更高。解决方案可以是使用C程序来简化网络，将TensorFlow中的更多操作替换掉，从而提高效率，减少内存负载。总结本文提出的新的基于深度学习的三维点云压缩方法是第一个基于深度学习的点云几何压缩算法。由于其并行处理能力和高压缩比，它在保持可接受的损失的同时显示出巨大的潜力。实验表明，该算法在高压缩比条件下的性能优于PCL和Draco。该算法的关键是具有层次结构的自动编码器，其性能优于最先进的重建质量，尤其是在局部细节方面。毫无疑问，深度学习是数据压缩的未来。SparseFastFourierTransform(SFFT)-BasedSpeechCompressionAlgorithmSFFTSFFT的历史1876年，贝尔发明了电话，通过声-电-电声转换的方式实现了人类历史上第一次长距离语音传输，开启了一个新时代研究关于现代语音信号处理。1928年，奈奎斯特（Nyquist）推导出理想低通信道中最高符号传输率的公式。2012年，麻省理工学院（MassachusettsInstituteofTechnology，麻省理工学院）HaithamHassanieh等四位研究人员提出了一种新的信号处理算法——稀疏快速傅里叶变换（SFFT）。该算法利用信号频域的稀疏特性，重构具有时间复杂度和高概率与信号长度呈亚线性关系的信号的完整频谱，其效率是传统的快速傅立叶变换（FFT，FFT)算法10到100次。为此，麻省理工学院专门建立了SFFT研究的相关网站，并发表了多篇相关论文。应用场景语言交流是人类最基本的能力之一，是人类长期进化形成的一种独特的思维和交流方式。语言是概括概括的有规律的符号系统，是创造和记录人类文明的根本方式。语音作为语言的声学形式，是声音和意义的结合，是信息传递和交流最方便、最有效的形式。言语和语言是人类思维的一种支持。他们与所处的社会文化密切相关，信息量最大，智力水平最高。语音信号的数字化处理已成为数字时代通信网络中最重要的组成部分。数字语音信号的传输、合成、存储、增强、识别等技术已经比较成熟。茁壮成长的机会。语音信号处理技术的应用包括工业、军事、交通、医学、民用等领域。市场上有大量与语音相关的产品。语音信号方向的科学研究和应用具有极其广阔的市场需求和应用场景。语音信号压缩面临的问题传统的信号离散化基本上是基于奈奎斯特采样定理，该定理指出当采样频率f大于信号最高频率的两倍时，采样后的数字信号完全保留了原始信号。信息，但在实际应用中往往需要5～10次才能达到预期效果。这给信息处理带来了巨大的压力：首先，需要提高采样频率来完成对超宽带信号的信息采集，硬件要求高，设备昂贵，实现难度大；其次，采样信息量巨大，需要更多的存储介质。随着移动互联网的快速发展，语音业务也大幅增加，而传统的奈奎斯特采样会获取海量的采样数据，给信号传输和存储带来巨大压力。此时，如何有效减少传输和存储所需的数据量，成为缓解硬件设备压力、??降低时延、提高信息传输整体效率的关键问题。关键技术麻省理工学院提出的**稀疏快速傅里叶变换（SFFT）**技术能够找到语音信号中的冗余部分，并尽可能多地删除冗余部分，同时保持可接受的失真。少量的比特代表原始信号。最后，使用这些较少的比特数，通过逆变换算法以高概率重建语音信号。简而言之，就是利用信号频域的稀疏性，提取有用的特征点，去除无用的信号，减少信号变换过程中的计算时间和存储单元，达到压缩数据的效果。理论框架SFFT算法大致可以分为三个步骤：1.“Basketing”首先将长度为N的信号频率系数按照规则H放入B个“篮子”中，即分篮子：显然，在这个过程中分到篮子里的数据量减少了。2.FFT下采样对分频后的信号进行下采样FFT。3.信号重构最后，根据装箱时的各种参数设计重构算法，以高概率重构大频率系数的位置和幅度，得到重构信号的频谱。根据以上分析，可以得到SFFT的理论框架图如下：总结所谓篮子分割，提取有用的特征点，去除无用的信号。下采样是采样点数量减少的FFT。重构，即重构大频率系数的位置和幅度，得到重构信号的频谱，即还原音频信号。我们发现，子篮子和下采样的过程提取有用信号，去除无用信号，从而大大压缩数据量，从而达到缓解硬件设备压力，减少延迟，提高整体效率的目的信息传递。算法评价1.分篮效果频域效果分析：时域效果分析：可以看出频域和时域信号明显密集。2.将重构后的信号与原始信号进行对比，可以看出信号高度相似，差异很小。综上所述，采用高效的SFFT算法对语音信号进行压缩，在接收端通过高概率重构得到原始信号的近似信号。在传输语音信号之前，通过有效的压缩方法将信号内部的冗余部分切掉，以少量的数据就可以完成信号的高效传输。其他应用场景医学影像大多数医学图像都具有稀疏特性。在2D相关振动光谱成像中使用SFFT可减少扫描时间并减少截断伪影。频谱感知对硬件设备提出了巨大的挑战，因为GHz带宽信号的检测会带来超高的采样频率，获取海量的采样数据。采用混叠同余相似法，无需全频带采样即可实现信号的频谱计算，有效减少了检测时间和能耗。GPS导航在卫星传输时通常采用伪随机前导码实现同步，存在较大时延。基于前导码良好的自相关性，利用SFFT技术加速了GPS的同步处理能力。语音信号处理方面，埃及-日本科技大学的研究人员在语音信号处理中采用了基于SFFT算法的处理方法。在国内，SFFT算法还处于研究的起步阶段，在水声快速解调算法、宽带频谱感知、直接序列扩频信号捕获、外辐射雷达互模糊函数计算等方面进行了一定的研究来源。综上所述，不难发现该算法具有广阔的应用前景。更多信息请访问：与华为官方共建的鸿蒙技术社区https://ost.51cto.com
