这次给大家带来一个关于点云分割的简单调查分享。首先，什么是点云？点云是激光雷达产生的离散数据，具有稀疏性、无序性和尺度不变性等特点。什么是点云分割？点云分割其实就是给每个点打上语义标签。整个任务对自动驾驶、机器人、AR\VR尤为重要，可用于去噪、地面检测等。点云分割的挑战1.点太多，尤其是自动驾驶场景，整体点数可能超过10W；2.稀疏性，需要设计一系列算法来处理点云的稀疏性，相对于图像数据，需要设计高效的算法来处理稀疏点云数据；3.混乱。一个好的点云网络应该能够将这些特性考虑在内。接下来，我将基于点云的表示向大家介绍一些经典的点云分割论文。首先，根据点云的表示方法，可以分为基于点的、基于体素的、基于距离视图的、基于多表示的方法。我们暂时不介绍基于电流互感器的方法。Point-basedmethod1.PointNet:DeepLearningonPointSetsfor3DClassificationandSegmentationPointnet是point-based解决方案中的一个开放解决方案。整个PointNet的结构非常简洁明了。通过连续堆叠conv1d和bn1d来提取每个点的特征，然后通过global-max-pooling层进行全局信息聚合。PointNet的特点是简单，方法也很直观。pointnet中提出的global-max-pooling实际上是对称的，具有permutation-invariant的特点，可以对不同的输入点序列产生相同的输出结果。但是PointNet最大的缺点就是缺少局部特征。整个信息的聚合是通过global-max-pooling得到的，这里会有信息丢失。2.PointNet++:DeepHierarchicalFeatureLearningonPointSetsinaMetricSpace基于以上观察和分析，PointNet的作者提出了PointNet++。与pointnet相比，Pointnet++引入了局部性的概念。首先，PointNet++采用最远采样策略获取一系列关键点，然后针对每个关键点，通过KNN建立不同的邻域信息。PointNet应用于不同的邻域，这个过程称为集合抽象。通过不同的半径，或者不同的邻域个数来实现一个类似于卷积中感受野扩大的过程。如果是点云分割的任务，那么会有一个上采样的过程，整个架构更类似于UNet。总体来说，PointNet++的核心是局部信息和全局信息提取的融合。那么基于PointNet++架构，下一步就是百花盛开的状态。3.PointSIFT：用于3D点云语义分割的类SIFT网络模块PointSIFT基于Pointnet++架构，引入了传统的视觉特征提取算子SIFT。简单来说，PointSIFT提出了一个方向编码单元。对于每一个点，首先沿着x、y、z三个轴搜索8个相邻的点。然后OE单元会使用CONV1D沿x、y、z三个方向提取特征，从而得到最终的featureembedding。我先做一个简单的总结。这些算法实际上更多是关于室内场景的。可以想象，这些方法在应用于自动驾驶场景时，仍然存在一些效率问题。同样的方法还有PointConv:DeepConvolutionalNetworkson3DPointClouds。如果你有兴趣，你可以自己阅读。下面介绍一下应用于室外点云的方法。4.KPConv:FlexibleandDeformableConvolutionforPointCloudsKPConv有一些不同。首先，对于核点的生成，它没有使用FPS（最远采样）方法。KPConv采用迭代优化方法。在给定区域内，一个核点的优化目标是尽可能远离其他点。同时kpconv提出了kernelpointconvolution，KPC其实是在模拟一个卷积过程。对于每个输入点，它会找到K个最近的核点，然后计算相关性。卷积的权重实际上就是这些相关性的加权和。最终的输出特征将是输入特征和这些权重的加权和。整体的kpconv架构其实是基于PointNet++架构的。5.RandLA-Net:EfficientSemanticSegmentationofLarge-ScalePointCloud上面的文章其实暗示了一个痛点：Sampling。首先，FPS或者KPConv中核点的生成实际上会占用一定的预处理时间，其次，采样实际上会带来性能的下降。虽然过多的采样会提高网络的性能，但会降低整体性能。RandLA很暴力，直接用随机抽样。基于点云的几何特征，提出了局部空间编码。首先，在给定的局部邻域中，LocSE计算几何信息，例如所有点的均值和方差。接下来，使用pointwisefeatureextractor(fc/conv1d)层提取特征，并通过local-neighborhoodattentive-pooling实现集合抽象。当时RANDLA实现了sota，尤其是在semantickitti这样的户外大规模数据集上。摘要提供了基于点的方法的简要总结。优点1、丰富的几何信息；2.非常直接的表现；3.后处理少。缺点1.KDTree或其他距离索引需要额外的时间；2.采样，上面说了，采样会加快网络的处理速度，但是也会降低性能。下面的内容，我们下次再放....
