示例

激活函数

• 全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换

• 引入非线性变换，被称为激活函数（activation function）

  • 
  • 
  • 

    关于激活函数的选择

• ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。

• 用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

• 在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。

  多层感知机

• 含有至少一个隐藏层的由全连接层组成的神经网络

  • 每个隐藏层的输出通过激活函数进行变换