24. 权衡偏差和方差

你可能听说过：“权衡偏差和方差”，在你可以对大多数学习算法所能作出的更改中，有一些能够减少偏差，但会增大方差，或者是在减少方差的时候却增大了偏差。这就需要在偏差和方差问题上进行“权衡(Trade Off)”。

比如，增大你模型的规模——也就是在神经网络中增大神经元或者层的数量，或者是增加输入特征——这通常会减少偏差，但可能会增大方差。另外，增加正则化措施则会增加偏差但是会减少方差。

在当代，我们可以很容易地获取到海量的数据，并且可以使用大规模的神经网络（深度学习）。因此，需要作出这种权衡的机会比以前要少，因为现在有更多的方法能够做到在减少偏差的同时保证方差的在可接受范围，反之亦然。

比如，你通常可以增加神经网络的规模并通过调整正则化方法使得在减少偏差的同时不会导致方差显著增大。通过增大训练集数据，你也可以做到减少方差的同时不影响偏差。

如果你选择的模型框架非常适合于你的任务的话，那么你也能够做到同时减少偏差和方差，不过选择出这种架构的难度可能会很大。

在接下来的几节内容中，我们将会具体讨论解决偏差和方差问题的特殊技巧。