不带模型参数

对于不带模型参数的自定义层，我们既可以对它进行实例化，也可以将他作为一层隐藏层放在网络当中。对于这种自定义层，可以不需要明确传入的参数形状。

  1. class CenteredLayer(nn.Module):
  2.     def __init__(self, **kwargs):
  3.         super(CenteredLayer, self).__init__(**kwargs)
  5.     def forward(self, x):
  6.         return x - x.mean()
  9. # 可以实例化该层
  10. layer = CenteredLayer()
  11. print(layer(torch.tensor([1, 2, 3, 4, 5], dtype=torch.float)))
  14. # 也可以使用它构造更复杂的模型
  15. net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())
  16. y = net(torch.rand(2, 8))
  17. print(y.mean().item())

含模型参数

在自定义含模型参数的层时，我们应该将参数定义成Parameter，除了直接定义成Parameter类外，还可以使用ParameterList和ParameterDict分别定义参数的列表和字典。 ParameterList接收一个Parameter实例的列表作为输入然后得到一个参数列表，使用的时候可以用索引来访问某个参数，另外也可以使用append和extend在列表后面新增参数。

  1. class MyDense(nn.Module):
  2.     def __init__(self):
  3.         super(MyDense, self).__init__()
  4.         self.params = nn.ParameterList([nn.Parameter(torch.randn(4, 4)) for i in range(3)])
  5.         self.params.append(nn.Parameter(torch.randn(4, 1)))
  7.     def forward(self, x):
  8.         for i in range(len(self.params)):
  9.             x = torch.mm(x, self.params[i])
  10.         return x
  13. net = MyDense()
  14. print(net(torch.rand(3, 4)))
  15. print(net)
  19. 结果：
  20. tensor([[-0.8253],
  21.         [ 4.7919],
  22.         [ 6.3828]], grad_fn=<MmBackward>)
  24. MyDense(
  25.   (params): ParameterList(
  26.       (0): Parameter containing: [torch.FloatTensor of size 4x4]
  27.       (1): Parameter containing: [torch.FloatTensor of size 4x4]
  28.       (2): Parameter containing: [torch.FloatTensor of size 4x4]
  29.       (3): Parameter containing: [torch.FloatTensor of size 4x1]
  30.   )
  31. )

而ParameterDict接收一个Parameter实例的字典作为输入然后得到一个参数字典，然后可以按照字典的规则使用了。例如使用update()新增参数，使用keys()返回所有键值，使用items()返回所有键值对等等，可参考官方文档。

  1. class MyDictDense(nn.Module):
  2.     def __init__(self):
  3.         super(MyDictDense, self).__init__()
  4.         self.params = nn.ParameterDict({
  5.             'linear1': nn.Parameter((torch.randn(4, 4))),
  6.             'linear2': nn.Parameter((torch.randn(4, 1)))
  7.         })
  8.         self.params.update({'linear3': nn.Parameter(torch.randn(4, 2))})
  10.     def forward(self, x, choice='linear1'):
  11.         return torch.mm(x, self.params[choice])
  13. net = MyDictDense()
  14. print(net(torch.rand(3, 4), 'linear2'))
  17. 结果：
  18. tensor([[ 0.2083],
  19.         [ 1.0280],
  20.         [-0.3583]], grad_fn=<MmBackward>)

使用update更新参数时，会将新的参数加入到字典中。不过这种用字典的方式貌似是无序的，顺序还得通过自己手动定义forward函数来实现。
我们也完全可以使用这些自定义层来构造模型：

  1. net = nn.Sequential(
  2.     MyDictDense(),
  3.     MyDense(),
  4. )
  5. print(net)
  8. 结果：
  9. Sequential(
  10.   (0): MyDictDense(
  11.     (params): ParameterDict(
  12.         (linear1): Parameter containing: [torch.FloatTensor of size 4x4]
  13.         (linear2): Parameter containing: [torch.FloatTensor of size 4x1]
  14.         (linear3): Parameter containing: [torch.FloatTensor of size 4x2]
  15.     )
  16.   )
  17.   (1): MyDense(
  18.     (params): ParameterList(
  19.         (0): Parameter containing: [torch.FloatTensor of size 4x4]
  20.         (1): Parameter containing: [torch.FloatTensor of size 4x4]
  21.         (2): Parameter containing: [torch.FloatTensor of size 4x4]
  22.         (3): Parameter containing: [torch.FloatTensor of size 4x1]
  23.     )
  24.   )
  25. )