• 随机初始化
• 均匀分布随机初始化

随机初始化

将权重初始化为服从期望为 0 的正态分布的随机数值。

均匀分布随机初始化

• 针对 sigmoid 和 tanh，可以更快收敛，得到更低的错误率
• 初始化方法：

• 是权重矩阵
• 为输入单元的个数， 为输出单元的个数
• 偏差项被初始化为 0