3.1 卷积和池化

信号处理中的卷积

*卷积核

  • Sobel
  • Laplacian

卷积定理

深度学习中的卷积

  • 深度学习中，卷积和不需要显式翻转
  • 因为这个卷积核是自动学习得到的，对输出不会有影响
  • 图像处理中的卷积核是人工确定的
  • 深度学习中的卷积核参数是可训练的

padding
stride

池化

  • 池化的主要目的是为了降维，降低计算量，
    并在训练初期提供一些平移不变性
  • 常见：平均池化 + 最大值池化


  • 3.2 卷积神经网络


全连接层：展平之前的多维特征，忽略空间结构特性，所以全连接层不适合用于在方位上找Pattern的任务，比如segmentation

  • 全连接层参数特多（可占整个网络参数80%左右）
  • 激活函数的作用 增加模型的非线性表达能力
  • 卷积神经网络的特点
    • 局部连接(感知野的概念)
    • 权值共享
    • 不同区域使用相同的卷积核参数
    • 层次化表达





RestNet 残差网络
首次将网络层数变成上百层

  • 使用了跳跃连接技术