Point Cloud Processing

PointNet【深度学习研究点云的先驱】

直接通过神经网络处理点云，提取点云特征，用于对象分类、部件分割、场景语义解析。

1. 通过MLP对n * 3的点云输入提取特征到逐点特征n * 64
2. 再经过MLP将n * 64 --> n * 1024
3. 在1024个维度上执行maxpooling得到全局特征1 * 1024

缺点：一直在做点之间特征的单独提取，除了最后一层maxpolling获取全局信息外，没有将点与其周围点进行融合，提取局部特征。（要么是单个点，要么是所有点，没有类似于CNN的感受野处理周围局部的点）

PointNet++【PointNet改进版】

PointNet的缺陷在于没有提取局部特征，导致模型泛化、识别细粒度模式能力有限

受CNN的启发，作者想在3D点集中找到结构相同的子区域和对应的区域特征提取器。

• set abstraction
  • samling：使用FPS采样，从N个点中
  • 采样N'个centroid
  • grouping：以采样得到的N'个centroid为中心，选取最近的K个点
  • pointnet：对group中的点应用pointnet（maxpolling）得到局部特征

两种特征融合方式：

• Multi-scale grouping
• Multi-resolution grouping

FoldingNet

3D点云是从物体表面获得的（从CAD的边界表示中离散化/从LIDAR传感器中采样），直观上，任何3D物体表面都可以通过切割、挤压和拉伸等操作转换为2D平面。

返回来，可以通过某些折叠操作（folding），将2D点样本粘回对象表面，这些折叠操作初始化为2D网格样本。

SnowflakeNet

将完整点云的生成建模为三维空间中点的雪花状生长，其中子点是在每个SPD之后通过拆分父点逐步生成的。

SPD中引入了skip-transformer，学习最适合局部区域的点分裂模式，由此，SPD可以生成局部紧凑和结构化的点云，具有高度详细的几何信息。

Seed generator

种子生成器的目标是生成一个粗略但完整的点云P0，能够捕获目标形状的几何和结构。

PointAttN

消除了显示局部区域操作如KNN，只用FPS、MLP、Attention。

包含三个部分：特诊提取、种子生成器、点云生成器

Geometric Details Perception（GDP）

• 将输入点云特征矩阵X通过FPS下采样得到Y，将Y当作Query矩阵，从X矩阵中找到相似点特征进行聚合（包括形状的相似和距离的接近），从而在模型中感知到局部的几何结构。

Self-Feature Augment（SFA）- 自注意力

• 利用自注意力捕获全局信息
• 利用Attention Linear Transformation矩阵进行上采样升维