2150 - Pytorch编写代码基本思想

一、前言

在我们要用pytorch构建自己的深度学习模型的时候，基本上都是下面这个流程步骤，写在这里让一些新手童鞋学习的时候有一个大局感觉，无论是从自己写，还是阅读他人代码，按照这个步骤思想（默念4大步骤，找数据定义、找model定义、(找损失函数、优化器定义)，主循环代码逻辑），直接去找对应的代码块，会简单很多。

二、基本步骤思想

所有的深度学习模型过程都可以形式化如下图：

分为四大步骤：
1、输入处理模块 (X 输入数据，变成网络能够处理的Tensor类型)
2、模型构建模块 (主要负责从输入的数据，得到预测的y^, 这就是我们经常说的前向过程)
3、定义代价函数和优化器模块 (注意，前向过程只会得到模型预测的结果，并不会自动求导和更新，是由这个模块进行处理)
4、构建训练过程 （迭代训练过程，就是上图表情包的训练迭代过程）
这几个模块分别与上图的数字标号1，2，3，4进行一一对应！

三、实例讲解

知道了上面的宏观思想之后，后面给出每个模块稍微具体一点的解释和具体一个例子，再帮助大家熟悉对应的代码！
1.数据处理
对于数据处理，最为简单的⽅式就是将数据组织成为⼀个 。但许多训练需要⽤到mini-batch，直接组织成Tensor不便于我们操作。pytorch为我们提供了Dataset和Dataloader两个类来方便的构建。
torch.utils.data.Dataset
继承Dataset 类需要override 以下⽅法：

torch.utils.data.DataLoader
下面是一个例子

def load_data_fashion_mnist(batch_size, resize=None, root='~/Datasets/FashionMNIST'):
    """Download the fashion mnist dataset and then load into memory."""
    trans = []
    if resize:
        trans.append(torchvision.transforms.Resize(size=resize))
    trans.append(torchvision.transforms.ToTensor())
    transform = torchvision.transforms.Compose(trans)
    mnist_train = torchvision.datasets.FashionMNIST(root=root, train=True, download=True, transform=transform)
    mnist_test = torchvision.datasets.FashionMNIST(root=root, train=False, download=True, transform=transform)
    if sys.platform.startswith('win'):
        num_workers = 0  # 0表示不用额外的进程来加速读取数据
    else:
        num_workers = 4
    train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=num_workers)
    test_iter = torch.utils.data.DataLoader(mnist_test, batch_size=batch_size, shuffle=False, num_workers=num_workers)
    return train_iter, test_iter

**

torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False)

DataLoader Batch。如果选择shuffle = True，每⼀个epoch 后，mini-Batch batch_size 常⻅的使⽤⽅法如下：

2. 模型构建
所有的模型都需要继承torch.nn.Module ， 需要实现以下⽅法：

其中forward() ⽅法是前向传播的过程。在实现模型时，我们不需要考虑反向传播。
3. 定义代价函数和优化器

这部分根据⾃⼰的需求去参照doc
4、构建训练过程
pytorch的训练循环⼤致如下：

下面再用一个简单例子，来巩固一下：
slides来自https://www.bilibili.com/video/BV1Y7411d7Ys?from=search&seid=3765076366663992699slides来自https://www.bilibili.com/video/BV1Y7411d7Ys?from=search&seid=3765076366663992699slides来自https://www.bilibili.com/video/BV1Y7411d7Ys?from=search&seid=3765076366663992699slides来自https://www.bilibili.com/video/BV1Y7411d7Ys?from=search&seid=3765076366663992699

四、资源推荐

希望上面的讲解能帮助新手童鞋建立一个基本的代码逻辑轮廓，这里推荐几个我觉得很好的资源：
1、第一个是B站刘二大人的入门Pytorch视频，这是我见过入门最好的视频资源之一，强烈推荐，上面的例子slides也均来自于此，地址如下
https://www.bilibili.com/video/BV1Y7411d7Ys?p=6www.bilibili.com
2、其实入门之后，就不用看太多学习资料了，你是搞哪个方向的，推荐直接去看一下相关方向顶会论文实现，从配环境、debug看懂他的code，到调参到他论文的相近结果，功力会针对性提高很多。
希望文章对一些新手朋友有帮助~