主体贡献

  1. 提出了一种卷积层加全连接层的卷积神经网络结构
    2. 首次使用ReLU函数做为神经网络的激活函数
    3. 首次提出Dropout正则化来控制过拟合
    4. 使用加入动量的小批量梯度下降算法加速了训练过程的收敛;5. 使用数据增强策略极大地抑制了训练过程的过拟合
    6. 利用了GPU的并行计算能力，加速了网络的训练与推断。

结构

image.png
AlexNet共8层:
➢ 5个卷积层(CONV1——CONV5)
➢ 3个全连接层(FC6-FC8)

第一层 (CONV1): 96 个11x11 卷积核，步长为 4，没有零填充
Max POOL1: 窗口大小3x3，步长为 2
第二层 (CONV2): 256 个5x5 卷积核，步长为 1，使用零填充p=2
第三、四层 (CONV3、CONV4): 384 个3x3 卷积核，步长为 1，使用零填充p=1
第五层 (CONV5): 256 个3x3 卷积核，步长为 1，使用零填充p=1
第六——八层 (FC6、FC7 、FC8):全连接神经网络分类器