参考来源：
CSDN：torch.nn.parameter.Parameter 分析
Pytorch 官方文档：PARAMETER

1. 作用

Parameter 是一种可以作为模型参数的 Tensor 。

a kind of Tensor that is to be considered a module parameter.

Parameter 是 **Tensor** 的子类，同时拥有一种非常特殊的性质：当他们与 Module S 一起使用时，也就是说当它们作为 **Module** 参数进行使用时，它们会自动添加到 **Module** 的参数列表中，并且出现在 **parameters()** 迭代器里。(这样就可以自动计算梯度等)

Parameters are Tensor subclasses, that have a very special property when used with Module S ——when they’re assigned as Module attributes they are automatically added to the list of its parameters, and will appear e.g. in parameters() iterator. Assigning a Tensor doesn’t have such effect.

2. 构造参数

  • **data**(Tensor)— parameter tensor
  • **requires_grad**(bool, optional)— if the parameter requires gradient. Default: True.

3. Example

定义一个网络 **Module** 如下：

  1. class LayerNorm(nn.Module):
  2.     def __init__(self, features, eps=1e-6):
  3.         super(LayerNorm, self).__init__()
  4.         self.a_2 = nn.Parameter(torch.ones(features))
  5.         self.b_2 = nn.Parameter(torch.zeros(features))
  6.         self.eps = eps
  8.     def forward(self, x):
  9.         mean = x.mean(-1, keepdim=True)
  10.         std = x.std(-1, keepdim=True)
  11.         return self.a_2 * (x - mean) / (std + self.eps) + self.b_2

那么，我们试着构造一个 LayerNorm，来观察其参数：

  1. >>> layerNorm = LayerNorm(5)
  2. >>> for a in layerNorm.parameters():
  3.         print(a)
  4. Parameter containing:
  5. tensor([1., 1., 1., 1., 1.], requires_grad=True)
  6. Parameter containing:
  7. tensor([0., 0., 0., 0., 0.], requires_grad=True)

可以看到我们使用 **nn.Parameter** 进行构造的参数，自动传入了 **Module** 的参数列表。