神经网络最终是一个 最优化问题 ， 在经过 前向计算和反向传播 后， Optimizer 使用反向传播梯度，优化神经网络中的参数。

SGD

SGD 是实现 随机梯度下降 的一个 Optimizer 子类，是 梯度下降 大类中的一种方法。 当需要训练大量样本的时候，往往选择 SGD 来使损失函数更快的收敛。

定义如下：

  1. class paddle.fluid.optimizer.SGDOptimizer(learning_rate, parameter_list=None, regularization=None, grad_clip=None, name=None)

公式如下：

📃 优化算法 - 图1

文档参考：SGDOptimizer

参数
**

  • learning_rate (float|Variable) - 用于更新参数的学习率。可以是浮点值，也可以是具有一个浮点值作为数据元素的变量。
  • parameter_list (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数；在静态图模式下默认值为None，这时所有的参数都将被优化。
  • regularization (WeightDecayRegularizer，可选) - 正则化方法。支持两种正则化策略: L1Decay 、 L2Decay 。如果一个参数已经在 ParamAttr 中设置了正则化，这里的正则化设置将被忽略； 如果没有在 ParamAttr 中设置正则化，这里的设置才会生效。默认值为None，表示没有正则化。
  • grad_clip (GradientClipBase, 可选) – 梯度裁剪的策略，支持三种裁剪策略： GradientClipByGlobalNorm 、 GradientClipByNorm 、 GradientClipByValue 。 默认值为None，此时将不进行梯度裁剪。
  • name (str, 可选) - 可选的名称前缀，一般无需设置，默认值为None。

代码示例：

  1. import paddle
  2. import paddle.fluid as fluid
  3. import numpy as np
  5. place = fluid.CPUPlace()
  6. main = fluid.Program()
  7. with fluid.program_guard(main):
  8.     x = fluid.layers.data(name='x', shape=[13], dtype='float32')
  9.     y = fluid.layers.data(name='y', shape=[1], dtype='float32')
  10.     y_predict = fluid.layers.fc(input=x, size=1, act=None)
  11.     cost = fluid.layers.square_error_cost(input=y_predict, label=y)
  12.     avg_cost = fluid.layers.mean(cost)
  14.     sgd_optimizer = fluid.optimizer.SGD(learning_rate=0.001)
  15.     sgd_optimizer.minimize(avg_cost)
  17.     fetch_list = [avg_cost]
  18.     train_reader = paddle.batch(
  19.         paddle.dataset.uci_housing.train(), batch_size=1)
  20.     feeder = fluid.DataFeeder(place=place, feed_list=[x, y])
  21.     exe = fluid.Executor(place)
  22.     exe.run(fluid.default_startup_program())
  23.     for data in train_reader():
  24.         exe.run(main, feed=feeder.feed(data), fetch_list=fetch_list)

**

Momentum

Momentum 优化器在 SGD 基础上引入动量，减少了随机梯度下降过程中存在的噪声问题。 用户在使用时可以将 ues_nesterov 参数设置为False或True，分别对应传统 Momentum(论文4.1节) 算法和 Nesterov accelerated gradient(论文4.2节) 算法。

定义如下：

  1. class paddle.fluid.optimizer.MomentumOptimizer(learning_rate, momentum, parameter_list=None, use_nesterov=False, regularization=None, grad_clip=None, name=None)

该优化器含有牛顿动量标志，公式如下：

📃 优化算法 - 图2

文档参考：MomentumOptimizer

参数
**

  • learning_rate (float|Variable) - 学习率，用于参数更新。作为数据参数，可以是浮点型值或含有一个浮点型值的变量。
  • momentum (float) - 动量因子。
  • parameter_list (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数；在静态图模式下默认值为None，这时所有的参数都将被优化。
  • use_nesterov (bool，可选) - 赋能牛顿动量，默认值False。
  • regularization (WeightDecayRegularizer，可选) - 正则化方法。支持两种正则化策略: L1Decay 、 L2Decay 。如果一个参数已经在 ParamAttr 中设置了正则化，这里的正则化设置将被忽略； 如果没有在 ParamAttr 中设置正则化，这里的设置才会生效。默认值为None，表示没有正则化。
  • grad_clip (GradientClipBase, 可选) – 梯度裁剪的策略，支持三种裁剪策略： GradientClipByGlobalNorm 、 GradientClipByNorm 、 GradientClipByValue 。 默认值为None，此时将不进行梯度裁剪。
  • name (str, 可选) - 可选的名称前缀，一般无需设置，默认值为None。

代码示例：

  1. import paddle
  2. import paddle.fluid as fluid
  3. import numpy as np
  5. place = fluid.CPUPlace()
  6. main = fluid.Program()
  7. with fluid.program_guard(main):
  8.     x = fluid.layers.data(name='x', shape=[13], dtype='float32')
  9.     y = fluid.layers.data(name='y', shape=[1], dtype='float32')
  10.     y_predict = fluid.layers.fc(input=x, size=1, act=None)
  11.     cost = fluid.layers.square_error_cost(input=y_predict, label=y)
  12.     avg_cost = fluid.layers.mean(cost)
  14.     moment_optimizer = fluid.optimizer.MomentumOptimizer(learning_rate=0.001, momentum=0.9)
  15.     moment_optimizer.minimize(avg_cost)
  17.     fetch_list = [avg_cost]
  18.     train_reader = paddle.batch(
  19.         paddle.dataset.uci_housing.train(), batch_size=1)
  20.     feeder = fluid.DataFeeder(place=place, feed_list=[x, y])
  21.     exe = fluid.Executor(place)
  22.     exe.run(fluid.default_startup_program())
  23.     for data in train_reader():
  24.         exe.run(main, feed=feeder.feed(data), fetch_list=fetch_list)

Adam

Adam 的优化器是一种自适应调整学习率的方法， 适用于大多非 凸优化 、大数据集和高维空间的场景。在实际应用中，Adam 是最为常用的一种优化方法。

定义如下：

  1. class paddle.fluid.optimizer.AdamOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, parameter_list=None, regularization=None, grad_clip=None, name=None, lazy_mode=False)

其参数更新的计算公式如下：

📃 优化算法 - 图3

文档参考：AdamOptimizer

参数
**

  • learning_rate (float|Variable，可选) - 学习率，用于参数更新的计算。可以是一个浮点型值或者一个值为浮点型的Variable，默认值为0.001
  • parameter_list (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数；在静态图模式下默认值为None，这时所有的参数都将被优化。
  • beta1 (float|Variable, 可选) - 一阶矩估计的指数衰减率，是一个float类型或者一个shape为[1]，数据类型为float32的Variable类型。默认值为0.9
  • beta2 (float|Variable, 可选) - 二阶矩估计的指数衰减率，是一个float类型或者一个shape为[1]，数据类型为float32的Variable类型。默认值为0.999
  • epsilon (float, 可选) - 保持数值稳定性的短浮点类型值，默认值为1e-08
  • regularization (WeightDecayRegularizer，可选) - 正则化方法。支持两种正则化策略: L1Decay 、 L2Decay 。如果一个参数已经在 ParamAttr 中设置了正则化，这里的正则化设置将被忽略； 如果没有在 ParamAttr 中设置正则化，这里的设置才会生效。默认值为None，表示没有正则化。
  • grad_clip (GradientClipBase, 可选) – 梯度裁剪的策略，支持三种裁剪策略： GradientClipByGlobalNorm 、 GradientClipByNorm 、 GradientClipByValue 。 默认值为None，此时将不进行梯度裁剪。
  • name (str, 可选)- 该参数供开发人员打印调试信息时使用，具体用法请参见 Name ，默认值为None
  • lazy_mode （bool, 可选） - 设为True时，仅更新当前具有梯度的元素。官方Adam算法有两个移动平均累加器（moving-average accumulators）。累加器在每一步都会更新。在密集模式和稀疏模式下，两条移动平均线的每个元素都会更新。如果参数非常大，那么更新可能很慢。 lazy mode仅更新当前具有梯度的元素，所以它会更快。但是这种模式与原始的算法有不同的描述，可能会导致不同的结果，默认为False

代码示例：

  1. import paddle
  2. import paddle.fluid as fluid
  4. place = fluid.CPUPlace()
  5. main = fluid.Program()
  6. with fluid.program_guard(main):
  7.     x = fluid.layers.data(name='x', shape=[13], dtype='float32')
  8.     y = fluid.layers.data(name='y', shape=[1], dtype='float32')
  9.     y_predict = fluid.layers.fc(input=x, size=1, act=None)
  10.     cost = fluid.layers.square_error_cost(input=y_predict, label=y)
  11.     avg_cost = fluid.layers.mean(cost)
  12.     adam_optimizer = fluid.optimizer.AdamOptimizer(0.01)
  13.     adam_optimizer.minimize(avg_cost)
  15.     fetch_list = [avg_cost]
  16.     train_reader = paddle.batch(
  17.         paddle.dataset.uci_housing.train(), batch_size=1)
  18.     feeder = fluid.DataFeeder(place=place, feed_list=[x, y])
  19.     exe = fluid.Executor(place)
  20.     exe.run(fluid.default_startup_program())
  21.     for data in train_reader():
  22.         exe.run(main, feed=feeder.feed(data), fetch_list=fetch_list)

优化器的常用方法

几乎所有的优化器都具有以下方法，可能部分优化器调用时有所区别，下面列举一些常见的方法，具体使用方式以官方文档为准。

minimize

为网络添加反向计算过程，并根据反向计算所得的梯度，更新parameter_list中的Parameters，最小化网络损失值loss。

  1. minimize(loss, startup_program=None, parameter_list=None, no_grad_set=None)

参数
**

  • loss (Variable) – 需要最小化的损失值变量
  • startup_program (Program, 可选) – 用于初始化parameter_list中参数的 Program , 默认值为None，此时将使用 default_startup_program
  • parameter_list (list, 可选) – 待更新的Parameter或者Parameter.name组成的列表， 默认值为None，此时将更新所有的Parameter
  • no_grad_set (set, 可选) – 不需要更新的Parameter或者Parameter.name组成的集合，默认值为None


返回**

tuple(optimize_ops, params_grads)，其中optimize_ops为参数优化OP列表；param_grads为由(param, param_grad)组成的列表，其中param和param_grad分别为参数和参数的梯度。

该返回值可以加入到 Executor.run() 接口的 fetch_list 参数中，若加入，则会重写 use_prune 参数为True，并根据 feed 和 fetch_list 进行剪枝，详见 Executor 的文档。

clear_gradients

清除需要优化的参数的梯度。该API只在 Dygraph 模式下生效

参考资料