Dropout

Dropout正则化的本质：降低网络对其中特定神经元权重设置的敏感性（依赖性）
由于模型在训练过程中为了追求训练精度，会逐渐将某些有助于提升精度的权重设置得较高，但是这种“特殊化”或者说参数调优实际上是不能应用在测试集中的。就好比应试教育能让学生考试得高分，但是却无法帮助学生在实际应用时照样表现良好，因为应试教育很大程度上只是提升了学生的应试能力，许多学生为了考得高分，过于依赖和追求应试能力，忽略了对知识本身的理解和对思维能力的追求，最终沦为了书呆子。

Dropout通过随机去除网络节点，使得没有任何一个节点能稳定的对最终的结果输出影响，因此网络在学习的过程中就不会对某些节点过分的依赖。这样或许让某些真正有用的节点权重没有得到充分的强化，但是也避免了大量的“虚假的学有所获”的出现，因此最终是有助于提升模型的泛化能力的。