全卷积网络

:label:sec_fcn

如 :numref:sec_semantic_segmentation中所介绍的那样，语义分割是对图像中的每个像素分类。 全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换 :cite:Long.Shelhamer.Darrell.2015。 与我们之前在图像分类或目标检测部分介绍的卷积神经网络不同，全卷积网络将中间层特征图的高和宽变换回输入图像的尺寸：这是通过在 :numref:sec_transposed_conv中引入的转置卷积（transposed convolution）实现的。 因此，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。

```{.python .input} %matplotlib inline from d2l import mxnet as d2l from mxnet import gluon, image, init, np, npx from mxnet.gluon import nn

npx.set_np()

  2. ```{.python .input}
  3. #@tab pytorch
  4. %matplotlib inline
  5. from d2l import torch as d2l
  6. import torch
  7. import torchvision
  8. from torch import nn
  9. from torch.nn import functional as F

构造模型

下面我们了解一下全卷积网络模型最基本的设计。 如 :numref:fig_fcn所示，全卷积网络先使用卷积神经网络抽取图像特征，然后通过$1\times 1$卷积层将通道数变换为类别个数，最后在 :numref:sec_transposed_conv中通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。 因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。

全卷积网络 :label:fig_fcn

下面，我们[使用在ImageNet数据集上预训练的ResNet-18模型来提取图像特征]，并将该网络记为pretrained_net。 ResNet-18模型的最后几层包括全局平均汇聚层和全连接层，然而全卷积网络中不需要它们。

```{.python .input} pretrained_net = gluon.model_zoo.vision.resnet18_v2(pretrained=True) pretrained_net.features[-3:], pretrained_net.output

  2. ```{.python .input}
  3. #@tab pytorch
  4. pretrained_net = torchvision.models.resnet18(pretrained=True)
  5. list(pretrained_net.children())[-3:]

接下来，我们[创建一个全卷积网络net]。 它复制了ResNet-18中大部分的预训练层，除了最后的全局平均汇聚层和最接近输出的全连接层。

```{.python .input} net = nn.HybridSequential() for layer in pretrained_net.features[:-2]: net.add(layer)

  2. ```{.python .input}
  3. #@tab pytorch
  4. net = nn.Sequential(*list(pretrained_net.children())[:-2])

给定高度为320和宽度为480的输入，net的前向传播将输入的高和宽减小至原来的$1/32$，即10和15。

```{.python .input} X = np.random.uniform(size=(1, 3, 320, 480)) net(X).shape

  2. ```{.python .input}
  3. #@tab pytorch
  4. X = torch.rand(size=(1, 3, 320, 480))
  5. net(X).shape

接下来，我们[使用$1\times1$卷积层将输出通道数转换为Pascal VOC2012数据集的类数（21类）。] 最后，我们需要(将特征图的高度和宽度增加32倍)，从而将其变回输入图像的高和宽。 回想一下 :numref:sec_padding中卷积层输出形状的计算方法： 由于$(320-64+16\times2+32)/32=10$且$(480-64+16\times2+32)/32=15$，我们构造一个步幅为$32$的转置卷积层，并将卷积核的高和宽设为$64$，填充为$16$。 我们可以看到如果步幅为$s$，填充为$s/2$（假设$s/2$是整数）且卷积核的高和宽为$2s$，转置卷积核会将输入的高和宽分别放大$s$倍。

```{.python .input} num_classes = 21 net.add(nn.Conv2D(num_classes, kernel_size=1), nn.Conv2DTranspose( num_classes, kernel_size=64, padding=16, strides=32))

  2. ```{.python .input}
  3. #@tab pytorch
  4. num_classes = 21
  5. net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
  6. net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,
  7.                                     kernel_size=64, padding=16, stride=32))

[初始化转置卷积层]

在图像处理中，我们有时需要将图像放大，即上采样（upsampling）。 双线性插值（bilinear interpolation） 是常用的上采样方法之一，它也经常用于初始化转置卷积层。

为了解释双线性插值，假设给定输入图像，我们想要计算上采样输出图像上的每个像素。 首先，将输出图像的坐标$(x,y)$映射到输入图像的坐标$(x’,y’)$上。 例如，根据输入与输出的尺寸之比来映射。 请注意，映射后的$x′$和$y′$是实数。 然后，在输入图像上找到离坐标$(x’,y’)$最近的4个像素。 最后，输出图像在坐标$(x,y)$上的像素依据输入图像上这4个像素及其与$(x’,y’)$的相对距离来计算。

双线性插值的上采样可以通过转置卷积层实现，内核由以下bilinear_kernel函数构造。 限于篇幅，我们只给出bilinear_kernel函数的实现，不讨论算法的原理。

```{.python .input} def bilinear_kernel(in_channels, out_channels, kernel_size): factor = (kernel_size + 1) // 2 if kernel_size % 2 == 1: center = factor - 1 else: center = factor - 0.5 og = (np.arange(kernel_size).reshape(-1, 1), np.arange(kernel_size).reshape(1, -1)) filt = (1 - np.abs(og[0] - center) / factor) * \ (1 - np.abs(og[1] - center) / factor) weight = np.zeros((in_channels, out_channels, kernel_size, kernel_size)) weight[range(in_channels), range(out_channels), :, :] = filt return np.array(weight)

  2. ```{.python .input}
  3. #@tab pytorch
  4. def bilinear_kernel(in_channels, out_channels, kernel_size):
  5.     factor = (kernel_size + 1) // 2
  6.     if kernel_size % 2 == 1:
  7.         center = factor - 1
  8.     else:
  9.         center = factor - 0.5
  10.     og = (torch.arange(kernel_size).reshape(-1, 1),
  11.           torch.arange(kernel_size).reshape(1, -1))
  12.     filt = (1 - torch.abs(og[0] - center) / factor) * \
  13.            (1 - torch.abs(og[1] - center) / factor)
  14.     weight = torch.zeros((in_channels, out_channels,
  15.                           kernel_size, kernel_size))
  16.     weight[range(in_channels), range(out_channels), :, :] = filt
  17.     return weight

让我们用[双线性插值的上采样实验]它由转置卷积层实现。 我们构造一个将输入的高和宽放大2倍的转置卷积层，并将其卷积核用bilinear_kernel函数初始化。

```{.python .input} conv_trans = nn.Conv2DTranspose(3, kernel_size=4, padding=1, strides=2) conv_trans.initialize(init.Constant(bilinear_kernel(3, 3, 4)))

  2. ```{.python .input}
  3. #@tab pytorch
  4. conv_trans = nn.ConvTranspose2d(3, 3, kernel_size=4, padding=1, stride=2,
  5.                                 bias=False)
  6. conv_trans.weight.data.copy_(bilinear_kernel(3, 3, 4));

读取图像X，将上采样的结果记作Y。为了打印图像，我们需要调整通道维的位置。

```{.python .input} img = image.imread(‘../img/catdog.jpg’) X = np.expand_dims(img.astype(‘float32’).transpose(2, 0, 1), axis=0) / 255 Y = conv_trans(X) out_img = Y[0].transpose(1, 2, 0)

  2. ```{.python .input}
  3. #@tab pytorch
  4. img = torchvision.transforms.ToTensor()(d2l.Image.open('../img/catdog.jpg'))
  5. X = img.unsqueeze(0)
  6. Y = conv_trans(X)
  7. out_img = Y[0].permute(1, 2, 0).detach()

可以看到，转置卷积层将图像的高和宽分别放大了2倍。 除了坐标刻度不同，双线性插值放大的图像和在 :numref:sec_bbox中打印出的原图看上去没什么两样。

```{.python .input} d2l.set_figsize() print(‘input image shape:’, img.shape) d2l.plt.imshow(img.asnumpy()); print(‘output image shape:’, out_img.shape) d2l.plt.imshow(out_img.asnumpy());

  2. ```{.python .input}
  3. #@tab pytorch
  4. d2l.set_figsize()
  5. print('input image shape:', img.permute(1, 2, 0).shape)
  6. d2l.plt.imshow(img.permute(1, 2, 0));
  7. print('output image shape:', out_img.shape)
  8. d2l.plt.imshow(out_img);

在全卷积网络中，我们[用双线性插值的上采样初始化转置卷积层。对于$1\times 1$卷积层，我们使用Xavier初始化参数。]

```{.python .input} W = bilinear_kernel(num_classes, num_classes, 64) net[-1].initialize(init.Constant(W)) net[-2].initialize(init=init.Xavier())

  2. ```{.python .input}
  3. #@tab pytorch
  4. W = bilinear_kernel(num_classes, num_classes, 64)
  5. net.transpose_conv.weight.data.copy_(W);

[读取数据集]

我们用 :numref:sec_semantic_segmentation中介绍的语义分割读取数据集。 指定随机裁剪的输出图像的形状为$320\times 480$：高和宽都可以被$32$整除。

```{.python .input}

@tab all

batch_size, crop_size = 32, (320, 480) train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)

  2. ## [**训练**]
  4. 现在我们可以训练全卷积网络了。
  5. 这里的损失函数和准确率计算与图像分类中的并没有本质上的不同，因为我们使用转置卷积层的通道来预测像素的类别，所以需要在损失计算中指定通道维。
  6. 此外，模型基于每个像素的预测类别是否正确来计算准确率。
  8. ```{.python .input}
  9. num_epochs, lr, wd, devices = 5, 0.1, 1e-3, d2l.try_all_gpus()
  10. loss = gluon.loss.SoftmaxCrossEntropyLoss(axis=1)
  11. net.collect_params().reset_ctx(devices)
  12. trainer = gluon.Trainer(net.collect_params(), 'sgd',
  13.                         {'learning_rate': lr, 'wd': wd})
  14. d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

```{.python .input}

@tab pytorch

def loss(inputs, targets): return F.cross_entropy(inputs, targets, reduction=’none’).mean(1).mean(1)

num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus() trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd) d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

  2. ## [**预测**]
  4. 在预测时，我们需要将输入图像在各个通道做标准化，并转成卷积神经网络所需要的四维输入格式。
  6. ```{.python .input}
  7. def predict(img):
  8.     X = test_iter._dataset.normalize_image(img)
  9.     X = np.expand_dims(X.transpose(2, 0, 1), axis=0)
  10.     pred = net(X.as_in_ctx(devices[0])).argmax(axis=1)
  11.     return pred.reshape(pred.shape[1], pred.shape[2])

```{.python .input}

@tab pytorch

def predict(img): X = test_iter.dataset.normalize_image(img).unsqueeze(0) pred = net(X.to(devices[0])).argmax(dim=1) return pred.reshape(pred.shape[1], pred.shape[2])

  2. 为了[**可视化预测的类别**]给每个像素，我们将预测类别映射回它们在数据集中的标注颜色。
  4. ```{.python .input}
  5. def label2image(pred):
  6.     colormap = np.array(d2l.VOC_COLORMAP, ctx=devices[0], dtype='uint8')
  7.     X = pred.astype('int32')
  8.     return colormap[X, :]

```{.python .input}

@tab pytorch

def label2image(pred): colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0]) X = pred.long() return colormap[X, :]

  2. 测试数据集中的图像大小和形状各异。
  3. 由于模型使用了步幅为32的转置卷积层，因此当输入图像的高或宽无法被32整除时，转置卷积层输出的高或宽会与输入图像的尺寸有偏差。
  4. 为了解决这个问题，我们可以在图像中截取多块高和宽为32的整数倍的矩形区域，并分别对这些区域中的像素做前向传播。
  5. 请注意，这些区域的并集需要完整覆盖输入图像。
  6. 当一个像素被多个区域所覆盖时，它在不同区域前向传播中转置卷积层输出的平均值可以作为`softmax`运算的输入，从而预测类别。
  8. 为简单起见，我们只读取几张较大的测试图像，并从图像的左上角开始截取形状为$320\times480$的区域用于预测。
  9. 对于这些测试图像，我们逐一打印它们截取的区域，再打印预测结果，最后打印标注的类别。
  11. ```{.python .input}
  12. voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
  13. test_images, test_labels = d2l.read_voc_images(voc_dir, False)
  14. n, imgs = 4, []
  15. for i in range(n):
  16.     crop_rect = (0, 0, 480, 320)
  17.     X = image.fixed_crop(test_images[i], *crop_rect)
  18.     pred = label2image(predict(X))
  19.     imgs += [X, pred, image.fixed_crop(test_labels[i], *crop_rect)]
  20. d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);

```{.python .input}

@tab pytorch

voc_dir = d2l.download_extract(‘voc2012’, ‘VOCdevkit/VOC2012’) test_images, test_labels = d2l.read_voc_images(voc_dir, False) n, imgs = 4, [] for i in range(n): crop_rect = (0, 0, 320, 480) X = torchvision.transforms.functional.crop(test_images[i], crop_rect) pred = label2image(predict(X)) imgs += [X.permute(1,2,0), pred.cpu(), torchvision.transforms.functional.crop( test_labels[i], crop_rect).permute(1,2,0)] d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2); ```

小结

  • 全卷积网络先使用卷积神经网络抽取图像特征，然后通过$1\times 1$卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。
  • 在全卷积网络中，我们可以将转置卷积层初始化为双线性插值的上采样。

练习

  1. 如果将转置卷积层改用Xavier随机初始化，结果有什么变化？
  2. 调节超参数，能进一步提升模型的精度吗？
  3. 预测测试图像中所有像素的类别。
  4. 最初的全卷积网络的论文中 :cite:Long.Shelhamer.Darrell.2015还使用了某些卷积神经网络中间层的输出。试着实现这个想法。

:begin_tab:mxnet Discussions :end_tab:

:begin_tab:pytorch Discussions :end_tab: