25. 减少可避免偏差的技巧

如果你的学习算法遇到了高可避免偏差问题,你可以尝试以下技巧:

  • 增大模型规模(增加层或者神经元数量):此技巧能够减少偏差,因为它能够帮助你更好的去拟合训练集。如果你发现这种做法增大了方差,那么使用正则化,这通常会抑制方差的增大;
  • 根据误差分析修改输入特征:假设你的误差分析促使你添加额外的特征来帮助算法消除特定类别的错误。(我们将在下一节的内容里进一步讨论)也就是说,这些新特征能有助于避免偏差和方差。从理论上来看,添加更多的特征会导致方差增大,但当你发现这种情况的时候,使用正则化吧,它能够抑制方差的增大;
  • 减少或取消正则化(L2正则化、L1正则化、Dropout):虽然正则化会减少方差,但是会增大偏差啊;
  • 修改模型架构:通过修改模型的架构来让模型更契合你的问题,这通常会同时影响你的偏差和方差。

另外,需要提醒的一点就是:

  • 添加更多的训练数据:此技巧往往有助于解决方差问题,但对偏差问题没什么用。