一、卷积网络

    1. 局部感受野： 在之前看到的全连接层的⽹络中，输⼊被描绘成纵向排列的神经元。但在⼀个 卷积⽹络中，把输⼊看作是⼀个 28 ×28 的⽅形排列的神经元更有帮助，其值对应于我们⽤作输⼊的 28 × 28 的像素光强度。

    说的确切⼀点，第⼀个隐藏层中的每个神经元会连接到⼀个输⼊神经元的⼀个⼩区域，例如， ⼀个 5 × 5 的区域，对应于 25 个输入像素。所以对于⼀个特定的隐藏神经元，我们可能有看起 来像这样的连接：
    这个输⼊图像的区域被称为隐藏神经元的局部感受野。它是输⼊像素上的⼀个⼩窗⼝。 image.png

    1. 共享权重和偏置： 我已经说过每个隐藏神经元具有⼀个偏置和连接到它的局部感受野的 5 × 5 权重。我没有提及的是我们打算对 24 × 24 隐藏神经元中的每⼀个使⽤相同的权重和偏置。
    2. 混合层： 除了刚刚描述的卷积层，卷积神经⽹络也包含混合层（pooling layers）。混合层通 常紧接着在卷积层之后使⽤。它要做的是简化从卷积层输出的信息。

    详细地说，⼀个混合层取得从卷积层输出的每⼀个特征映射6并且从它们准备⼀个凝缩的特 征映射。例如，混合层的每个单元可能概括了前⼀层的⼀个（⽐如）2 × 2 的区域。作为⼀个具 体的例⼦，⼀个常⻅的混合的程序被称为最⼤值混合（max-pooling）。在最⼤值混合中，⼀个混 合单元简单地输出其 2 × 2 输⼊区域的最⼤激活值，正如下图说明的：
    image.png