如有错误，恳请指出。

1. 背景

PointNet是第一篇真正以原始点云为输入的网络结构。在此之前，3D的点云数据一般只是通过Voxel Grid（体素）或者是Multi Vew CNN（多视图）来处理。Voxel Grid的优势是通过3D卷积来直接处理数据，但是由于数据的稀疏性3D卷积的计算成本比较大；而Multi Vew则是可以利用2D卷积算子来处理多视频，间接处理3D数据，但是这样很难拓展到具体一个点的分类任务上，以及其他的场景理解任务上。后续的还有Feature base的模型尝试将3D点云数据转换一个向量的形式，但是这样会受到提取特征能力的约束。为此，上诉的各类方法都有缺点，PointNet的想法就是直接处理点云数据。

但是原始的点云数据具有一些问题待解决：
1）无序性：一个点云集合的任意点改变都不应该改变整个点云的形状与性质，也就是说其是无序的，输入顺序不能影响结果
2）点之间的相互作用：点云中的每个点不完全是孤立的，距离接近的点之间会有一定的联系，所以模型需要捕获这种局部特征
3）几何不变性：点云的旋转和平移不会影响其类别，任意的仿射变换的输出结果对模型应该要一致

2. 网络设计

基于上述点云的几个问题，需要对模型进行具体设计，结构图如下：

2.1 无序性解决

目前已经存在的一些解决思路有：1）输入前利用MLP对点云进行排序；2）将点云中代码每个点看成是序列，用RNN或者是LSTM来完成序列预测；3）通过一些对称函数来处理聚合点特征，其中对称函数对顺序不敏感，比如加法与乘法运算。
对点云进行排序处理不符合实际，而RNN等序列网络虽然可以一定程度上忽视短期几十个乱序的影响，但是很难扩展到数千个的输入元素，而点云个数一般是比较多的，所以也不符合实际。所以，PointNet中利用了Max Pooling对称函数，完成点云的特征聚合处理。

2.2 局部特征获取

点云的全局特征库通过Max Pooling来获得，点之间的相互作用如何实现？这里PointNet用了很简单的方法，就是把这里获得的全局特征拼接到每个点的局部特征上，完成了局部特征与全局特征的结合，后续再使用一个共享参数的MLP来对这个局部和全局拼接的特征进行降维，再进行后续分割任务，对每个点进行分类。

2.3 几何不变性处理

点云的几何变换不应该影响其类别，一个处理方法是在特征提取之前将输入对齐到一个规范空间中。这里PointNet的做法是直接一个另外的微型网络T-Net来预测几何变换的仿射矩阵，也就是说直接利用原始点提取仿射矩阵再作用到原始点上，进行规范空间中的对齐。同时，在后续的提取特征中，同样对特征进行规范空间中的对齐。操作方法类似，也是利用提取后的特征通过T-Net获得仿射矩阵再作用到特征上实现变换，不过由于特征的维度一般比较大，难以优化，所以训练会添加一个正则化项，将特征的仿射矩阵转化为一个正交矩阵，同时正交矩阵是不会在输入中丢失信息的。

3. 实验结果

3.1 消融实验

作者其实尝试了其他的对称函数，比如Average Pooling，Max Pooling以及Attention Sum（这里的attention是指对每个点预测一个分数进行softmax作为权重，然后进行特征的加权和），最后的结果表明是Max Pooling的效果是最好的87.1，远远由于其他的两个83.8与83.0

3.2 鲁棒性实验

作者分别对鲁棒性进行了多个实验，比如以一定比例缺失点，以一定比例插入异常点，对点云进行一点比例的高斯噪声叠加。实验证明PointNet的鲁棒性还是不错的。

3.3 可视化实验

在提及可视化之前，这里需要提到paper中的两个概念：Upper-bound与Critical Point。大概意思是PointNet提取到的临界值（Critical Point）是可以大概描绘出物体形状的，任意在Critical Point与Upper-bound之间的点云都具有完全一样的特征。所以，为的是进一步证明PointNet其实是可以能有提取到关键点特征的，这些关键点形成了物体的skeleton，只要点云中包括了这些关键点，那么pointnet提取出来的特征就是不变的。当max pooling出来的维度k比较小的时候，k会限制关键点的数量，因为实际关键点的数量不会超过k，此时k越大关键点数量也就越多，模型表现也就越好也更稳定。