动手学PyTorch | (24) VGGNet

AlexNet在LeNet的基础上增加了3个卷积层。但AlexNet作者对它们的卷积窗口、输出通道数和构造顺序均做了⼤量的调整。虽然AlexNet指明了深度卷积神经网络可以取得出色的结果，但并没有提供简单的规则以指导后来的研究者如何设计新的网络。我们将在后续⼏节里介绍几种不同的深度⽹络设计思路。

本节介绍VGG，它的名字来源于论⽂作者所在的实验室Visual Geometry Group 。VGG提出了可以通过􏰀重复使用简单的基础块来构建深度模型的思路。

1. VGG块

2. VGG网络

3. 获取数据和训练模型

4. 小结

1. VGG块

VGG块的组成规律是:连续使⽤数个相同的填充为1、窗⼝形状为3*3的卷积层后接上⼀个步幅为2、窗⼝形状为2*2的最大池化层。卷积层保持输⼊的⾼和宽不变，而池化层则对其减半。我们使⽤vgg_block函数来实现这个基础的VGG块，它可以指定卷积层的数量和输入输出通道数.

对于给定的感受野􏰁(与输出有关的输入图⽚的局部⼤小)，采用堆积的小卷积核优于采用⼤的卷积核，因为可以增加网络深度来保证学习更复杂的模式，⽽且代价还比较小(参数更少)。例如，在 VGG中，使⽤了3个3x3卷积核来代替7x7卷积核，使⽤了2个3x3卷积核来代替5*5卷积核，这样做的主要⽬的是在保证具有相同感知􏰁的条件下，提升了⽹络的深度，在一定程度上提升了神经⽹络的效果。

import torch
from torch import nn, optim

import sys
sys.path.append(".") 
import d2lzh_pytorch as d2l
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

print(torch.__version__)
print(device)

def vgg_block(num_convs, in_channels, out_channels):
    blk = []
    for i in range(num_convs):
        if i == 0:
            blk.append(nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1))
        else:
            blk.append(nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1))
        blk.append(nn.ReLU())
    blk.append(nn.MaxPool2d(kernel_size=2, stride=2))
    return nn.Sequential(*blk)

2. VGG网络

与AlexNet和LeNet一样，VGG⽹络由卷积层模块后接全连接层模块构成。卷积层模块串联数个vgg_block,其超参数由变量conv_arch定义。该变量指定了每个VGG块里卷积层个数和输入输出通道数。全连接模块则跟AlexNet中的一样。

现在我们构造⼀个VGG网络。它有5个卷积块，前2块使⽤单卷积层，而后3块使⽤双卷积层。第一块的输⼊输出通道分别是1(因为下⾯要使用的Fashion-MNIST数据的通道数为1)和64，之后每次对输出通道数翻倍，直到变为512。因为这个⽹络使用了8个卷积层和3个全连接层，所以经常被称为VGG-11。

conv_arch = ((1, 1, 64), (1, 64, 128), (2, 128, 256), (2, 256, 512), (2, 512, 512))
#经过5个vgg block 每次大小减半 224/32 = 7
fc_features = 512 * 7 * 7 # 根据卷积层的输出算出来的 7*7为feature map大小
fc_hidden_units = 4096 # 任意

下面我们实现VGG-11。

def vgg(conv_arch, fc_features, fc_hidden_units=4096):
    net = nn.Sequential()
    # 卷积层部分
    for i, (num_convs, in_channels, out_channels) in enumerate(conv_arch):
        net.add_module("vgg_block_" + str(i+1), vgg_block(num_convs, in_channels, out_channels))
    # 全连接层部分
    net.add_module("fc", nn.Sequential(d2l.FlattenLayer(),
                                 nn.Linear(fc_features, fc_hidden_units),
                                 nn.ReLU(),
                                 nn.Dropout(0.5),
                                 nn.Linear(fc_hidden_units, fc_hidden_units),
                                 nn.ReLU(),
                                 nn.Dropout(0.5),
                                 nn.Linear(fc_hidden_units, 10)
                                ))
    return net

下⾯构造⼀个⾼和宽均为224的单通道数据样本来观察每一层的输出形状。

net = vgg(conv_arch, fc_features, fc_hidden_units)
X = torch.rand(1, 1, 224, 224)

# named_children获取一级子模块及其名字(named_modules会返回所有子模块,包括子模块的子模块)
for name, blk in net.named_children(): 
    X = blk(X)
    print(name, 'output shape: ', X.shape)

可以看到，每次我们将输入的高和宽减半，直到最终高和宽变成7后传入全连接层。与此同时，输出通道数每次翻倍，直到变成512。因为每个卷积层的窗口⼤小一样，所以每层的模型参数尺寸和计算复杂度与输入高、输入宽、输入通道数和输出通道数的乘积成正比。VGG这种高和宽减半以及通道翻倍的设计使得多数卷积层都有相同的模型参数尺寸和计算复杂度。

3. 获取数据和训练模型

因为VGG-11计算上比AlexNet更加复杂，出于测试的目的我们构造一个通道数更小，或者说更窄的⽹络在Fashion-MNIST数据集上进行训练。

ratio = 8
small_conv_arch = [(1, 1, 64//ratio), (1, 64//ratio, 128//ratio), (2, 128//ratio, 256//ratio), 
                   (2, 256//ratio, 512//ratio), (2, 512//ratio, 512//ratio)]
net = vgg(small_conv_arch, fc_features // ratio, fc_hidden_units // ratio)
print(net)

模型训练过程与上一节的AlexNet中的类似。

batch_size = 64
# 如出现“out of memory”的报错信息，可减小batch_size或resize
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)

lr, num_epochs = 0.001, 5
optimizer = torch.optim.Adam(net.parameters(), lr=lr)
d2l.train_ch5(net, train_iter, test_iter, batch_size, optimizer, device, num_epochs)