定义模型

和softmax回归唯一的不同在于，我们多加了一个全连接层作为隐藏层。它的隐藏单元个数为256，并使用ReLU函数作为激活函数。

可以明显地发现，模型搭建及参数初始化极其简洁（无脑）

import torch
from torch import nn
from torch.nn import init
import d2lzh
num_inputs, num_outputs, num_hiddens = 784, 10, 256
net = nn.Sequential(
    d2lzh.FlattenLayer(),
    nn.Linear(num_inputs, num_hiddens),
    nn.ReLU(),
    nn.Linear(num_hiddens, num_outputs)
)
for params in net.parameters():
    init.normal_(params, mean=0, std=0.01)

读取数据并训练模型

由于这里使用的是PyTorch的SGD而不是d2lzh_pytorch里面的sgd，所以就不存在3.9节那样学习率看起来很大的问题了。

完整代码如下：

import torch
from torch import nn
from torch.nn import init
import d2lzh
num_inputs, num_outputs, num_hiddens = 784, 10, 256
net = nn.Sequential(
    d2lzh.FlattenLayer(),
    nn.Linear(num_inputs, num_hiddens),
    nn.ReLU(),
    nn.Linear(num_hiddens, num_outputs)
)
for params in net.parameters():
    init.normal_(params, mean=0, std=0.01)
batch_size = 256
train_iter, test_iter = d2lzh.load_data_fashion_mnist(batch_size)
loss = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
num_epochs = 5
d2lzh.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)