CV中的Attention機制:簡單而有效的CBAM模塊

1. 什麼是注意力機制？注意力機制（Attention Mechanism）是機器學習中的一種數據處理方法，廣泛應用在自然語言處理、圖像識別及語音識別等各種不同類型的機器學習任務中。通俗來講：注意力機制就是希望網絡能夠自動學出來圖片或者文字序列中的需要注意的地方。比如人眼在看一幅畫的時候，不會將注意力平等地分配給畫中的所有像素，而是將更多注意力分配給人們關注的地方。從實現的角度來講：注意力機制通過神經網絡的操作生成一個掩碼mask, mask上的值一個打分，評價當前需要關注的點的評分。通道注意力機制：對通道生成掩碼mask，進行打分，代表是senet, Channel Attention Module空間注意力機制：對空間進行掩碼的生成，進行打分，代表是Spatial Attention Module混合域注意力機制：同時對通道注意力和空間注意力進行評價打分，代表的有BAM, CBAM2. CBAM模塊的實現CBAM全稱是Convolutional Block Attention Module, 是在**ECCV2018**上發表的注意力機制代表作之一。本人在打比賽的時候遇見過有人使用過該模塊取得了第一名的好成績，證明了其有效性。在該論文中，作者研究了網絡架構中的注意力，注意力不僅要告訴我們重點關注哪裡，還要提高關注點的表示。目標是通過使用注意機制來增加表現力，關注重要特徵並抑制不必要的特徵。為了強調空間和通道這兩個維度上的有意義特徵，作者依次應用通道和空間注意模塊，來分別在通道和空間維度上學習關注什麼、在哪裡關注。此外，通過了解要強調或抑制的信息也有助於網絡內的信息流動。主要網絡架構也很簡單，一個是通道注意力模塊，另一個是空間注意力模塊，CBAM就是先後集成了通道注意力模塊和空間注意力模塊。2.1 通道注意力機制

class ChannelAttention(nn.Module):    def __init__(self, in_planes, rotio=16):        super(ChannelAttention, self).__init__()        self.avg_pool = nn.AdaptiveAvgPool2d(1)        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.sharedMLP = nn.Sequential(            nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False), nn.ReLU(),            nn.Conv2d(in_planes // rotio, in_planes, 1, bias=False))        self.sigmoid = nn.Sigmoid()
    def forward(self, x):        avgout = self.sharedMLP(self.avg_pool(x))        maxout = self.sharedMLP(self.max_pool(x))        return self.sigmoid(avgout + maxout)
核心的部分Shared MLP使用了12.2 空間注意力機制
class SpatialAttention(nn.Module):    def __init__(self, kernel_size=7):        super(SpatialAttention, self).__init__()        assert kernel_size in (3,7), "kernel size must be 3 or 7"        padding = 3 if kernel_size == 7 else 1
        self.conv = nn.Conv2d(2,1,kernel_size, padding=padding, bias=False)        self.sigmoid = nn.Sigmoid()
    def forward(self, x):        avgout = torch.mean(x, dim=1, keepdim=True)        maxout, _ = torch.max(x, dim=1, keepdim=True)        x = torch.cat([avgout, maxout], dim=1)        x = self.conv(x)        return self.sigmoid(x)
這個部分實現也很簡單，分別從通道維度進行求平均和求最大，合併得到一個通道數為2的卷積層，然後通過一個卷積，得到了一個通道數為1的spatial attention。2.3 Convolutional bottleneck attention module
class BasicBlock(nn.Module):    expansion = 1    def __init__(self, inplanes, planes, stride=1, downsample=None):        super(BasicBlock, self).__init__()        self.conv1 = conv3x3(inplanes, planes, stride)        self.bn1 = nn.BatchNorm2d(planes)        self.relu = nn.ReLU(inplace=True)        self.conv2 = conv3x3(planes, planes)        self.bn2 = nn.BatchNorm2d(planes)        self.ca = ChannelAttention(planes)        self.sa = SpatialAttention()        self.downsample = downsample        self.stride = stride    def forward(self, x):        residual = x        out = self.conv1(x)        out = self.bn1(out)        out = self.relu(out)        out = self.conv2(out)        out = self.bn2(out)        out = self.ca(out) * out  # 廣播機制        out = self.sa(out) * out  # 廣播機制        if self.downsample is not None:            residual = self.downsample(x)        out += residual        out = self.relu(out)        return out
最後的使用一個類進行兩個模塊的集成，得到的通道注意力和空間注意力以後，使用廣播機制對原有的feature map進行信息提煉，最終得到提煉後的feature map。以上代碼以ResNet中的模塊作為對象，實際運用可以單獨將以下模塊融合到網絡中:
class cbam(nn.Module):   def __init__(self, planes)：        self.ca = ChannelAttention(planes)# planes是feature map的通道個數        self.sa = SpatialAttention()     def forward(self, x):        x = self.ca(out) * x  # 廣播機制        x = self.sa(out) * x  # 廣播機制
3. 在什麼情況下可以使用？提出CBAM的作者主要對分類網絡和目標檢測網絡進行了實驗,證明了CBAM模塊確實是有效的。以ResNet為例，論文中提供了改造的示意圖，如下圖所示：也就是在ResNet中的每個block中添加了CBAM模塊，訓練數據來自benchmark ImageNet-1K。檢測使用的是Faster R-CNN， Backbone選擇的ResNet34,ResNet50, WideResNet18, ResNeXt50等，還跟SE等進行了對比。消融實驗：消融實驗一般是控制變量，最能看出模型變好起作用的部分在那裡。分為三個部分：如何更有效地計算channel attention?可以看出來，使用avgpool和maxpool可以更好的降低錯誤率，大概有1-2%的提升，這個組合就是dual pooling，能提供更加精細的信息，有利於提升模型的表現。如何更有效地計算spatial attention?這裡的空間注意力機制參數也是有avg, max組成，另外還有一個卷積的參數kernel_size(k), 通過以上實驗，可以看出，當前使用通道的平均和通道的最大化，並且設置kernel size=7是最好的。可以看出，這裡與SENet中的SE模塊也進行了比較，這裡使用CBAM也是超出了SE的表現。除此以外，還進行了順序和並行的測試，發現，先channel attention然後spatial attention效果最好，所以也是最終的CBAM模塊的組成。在MSCOCO數據及使用了ResNet50,ResNet101為backbone, Faster RCNN為檢測器的模型進行目標檢測，如下圖所示：在VOC2007數據集中採用了StairNet進行了測試，如下圖所示：官方貌似沒有提供目標檢測部分的代碼，CBAM的作用在於對信息進行精細化分配和處理，所以猜測是在backbone的分類器之前添加的CBAM模塊，歡迎有研究的小夥伴留言。4. 參考https://arxiv.org/pdf/1807.06521.pdfhttps://github.com/pprp/SimpleCVReproduction/blob/master/attention/CBAM/cbam.py