Convolutional Neural Networks

使用全连接层的局限性：

• 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。
• 对于大尺寸的输入图像，使用全连接层容易导致模型过大。

使用卷积层的优势：

• 卷积层保留输入形状。

• 卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大。

  LeNet 模型

  LeNet分为卷积层块和全连接层块两个部分。
  

• 卷积层块里的基本单位是卷积层后接平均池化层

  • 卷积层用来识别图像里的空间模式，如线条和物体局部
  • 平均池化层则用来降低卷积层对位置的敏感性
• 卷积层块由两个这样的基本单位重复堆叠构成。
  • 在卷积层块中，每个卷积层都使用5×5的窗口，并在输出上使用sigmoid激活函数。
  • 第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。
• 全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。