学习率策略

参考：pytorch 动态调整学习率
1、根据epoch改变
2、根据具体需要改变

class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

以 acc 为例，当 mode 设置为 “max” 时，如果 acc 在给定 patience 内没有提升，则以 factor 的倍率降低 lr。
3、手动设置lr衰减区间
4、余弦退火SGDR: Stochastic Gradient Descent with Warm Restarts