https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

这篇博客主要是介绍了tensor的概念、求导的方法、autograd的使用。

Tensors

使用类似于 numpy的array ，Pytorch提供一系列关于Tensor的操作。Tensor记录计算图和梯度，也可以作为科学计算的工具。

  1. tensor.item()  # 返回值
  3. a = torch.nn.Parameter(torch.randn(())) # 定义变量
  4. #定义可梯度的tensor
  5. a = torch.full((), 0.0, device=device, dtype=dtype, requires_grad=True) 
  6. 注意：这两个a是有区别的，Parameter会自动绑定在网络的参数空间。

Autograd

定义地网络，继承 torch.nn.Module 模块，需要实现 forward方法
脚手架如下：

  1. import torch
  3. class Net(torch.nn.Module):
  4.     def __init__(self):
  5.         super().__init__()
  6.         """
  7.           网络参数定义
  8.           torch.nn.Parameter
  9.         """
  10.     def forward(self,x):
  11.         """
  12.           使用网络对 输入进行操作
  13.         """
  14. # 指定损失函数
  15. loss_fun = torch.nn.MSELoss(reduction='sum')
  17. # 指定求解器
  18. model = Net()
  19. optimizer = torch.optim.SGD(model.parameters(), lr=1e-6)
  21. for t in range(epcho):
  23.     y_pred = model(x) # 预测
  24.     loss = loss_fun(y_pred,y)
  26.     if t%5 ==0:
  27.         print(t,loss.item())
  29.     optimizer.zero_grad() # 清零梯度
  30.     loss.backward() # 计算梯度
  31.     optimizer.step() #更新梯度