问题

• 当要执行算法，比如梯度下降法或高级优化算法时
• 需要为变量选取一些初始值

• 初始值如何选择

在逻辑回归中中模型参数的初始值设为0是被允许的
但是在训练网络的过程中设置为0将起不到任何的作用

会导致隐藏层单元全部相等，同理由于传播参数一致，代价 值也一致

会导致所有的隐藏单元都在计算相同的特征，所有的隐藏单元都以相同的函数作为输入
这是一种高度冗余的现象，这意味这最终的逻辑单元只能得到一个特征
这种情况阻止了神经网络去学习任何有趣的东西

方法

权重一致问题也称为对称权重问题
使用rand函数生成一定范围内的随机函数作为初始参数
打破对称性