基础

  • 频域卷积
    • 需要处理整个图
    • 且里面的矩阵运算复杂度较高
  • 空域卷积


  • 2.1 机器学习基础概念

  • 损失函数loss

    • 正则化项(惩罚项)
      *常见的损失函数
    • 平方损失函数(常用于回归)
      • 批梯度下降(Batch Gradient Descent)
      • 随机梯度下降(Stochastic Gradient Descent SGD)
      • 小批量随机梯度下降

    • 交叉熵损失(常用于分类)

    • 2.2 神经元

      神经元

      多层感知机

      激活函数

  • 非线性

  • 可以使神经网络几乎可以任意逼近任何非线性函数
  • 要求：连续可导，允许在少数点上不可导


  • S型激活函数

  • Sigmoid[0,1]

    • 常用于二分类最后一层的激活函数
  • Tanh (-1,1)
    *
  • Relu
    • Rectified Linear Unit 线性整流函数
    • 单侧抑制
    • LeakyRelu
    • PReLu


  • 2.3 训练神经网络

  • 正向传播->反向传播->参数更新


  • 2.4 训练神经网络