做分销网站好吗/搜索seo神器

论文分享沙龙 2020第02期

分享人：中国矿业大学硕士生 张勋晖

研究方向： 计算机视觉 | 语义分割

论文标题：PyramidGraph Networks with Connection Attentions for Region-Based One-Shot Semantic Segmentation(基于连接注意的金字塔图网络实现基于区域的One-shot语义分割)论文来源：ICCV 2019论文下载：http://openaccess.thecvf.com/content_ICCV_2019/html/Zhang_Pyramid_Graph_Networks_With_Connection_Attentions_for_Region-Based_One-Shot_Semantic_ICCV_2019_paper.html

摘要：

这是一篇使用图注意力进行one-shot语义分割的文章。One-shot语义分割是指这样一类任务：一种类别只有一张有标注的图像，即训练集大小为1，目标是对多张同类别图像进行分割。对于One-shot，数据分为查询集和支持集。之前的方法将支持集数据压缩到全局描述子，然而这种方法会失去支持数据结构和单个元素的信息。所以这篇文章主要目标是将支持数据集的结构和单个元素信息引入到查询集的分割任务中。主要使用的方法是图注意力机制。

1. 主要方法

总体思路：查询集中的每一部分都会对应一张注意力图，该图某一位置的值大小代表支持集对应位置信息的权重。通过这种方式，支持图的单个元素信息和结构信息就可以被查询集使用。从而提高查询集分割效果。如图。

总体网络结构：首先支持图和查询图通过权值共享的CNN网络得到feature map。注意接下来支持图feature map中只取前景部分，在图中就是山羊。查询图feature map通过不同的池化层得到不同的局部表示，然后将这些表示分别与支持图前景进行图注意力计算。其中有一个使用相等权重的图注意力模块相当于使用了全局池化。

在把这些计算结果相加后经过几个残差卷积和ASPP之后就可以得到结果。

可以看出，重点就在GAU部分，下图是原理图。对于查询图中任意节点，都有：

• 和支持图前景的所有节点都有一条边连着。
• 边的值是度量节点相关性，所有边进行softmax得到，就是注意力了。
• 接下来就和一般的注意力基本相同。

  

下面是具体公式，和分别代表查询图的节点和支持图的第j个节点。其中和都是线性投影函数。简单说就是计算关联系数，规范化得到权重，使用权重混合所有支持节点值，然后用线性变换加入查询节点本身的值。得到的值中既有查询节点信息，又有加权的支持节点信息。好像一杯调好的果汁。

其中对于关联系数的计算有两种方式：

2. 实验结果

注意力图的可视化，分割效果不错

• 比较不同主干网

• 比较不同的关联系数的影响

• 和现行方法的比较(使用两种不同的指标)