本节使用路透社数据集，它包含许多短新闻及其对应的主题，由路透社在 1986 年发布。它是一个简单的、广泛使用的文本分类数据集。它包括 46 个不同的主题：某些主题的样本更多，但训练集中每个主题都有至少 10 个样本。 该数据集已被 Keras 内置。

步骤：

1. 加载数据

  1. import keras
  3. from keras.datasets import reuters
  4. (train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)
  • 参数 num_words=10000 将数据限定为前 10 000 个最常出现的单词。

我们有 8982 个训练样本和 2246 个测试样本。每个样本都是一个整数列表（表示单词索引）。

2. 准备数据

  1. # 编码数据
  2. import numpy as np
  4. def vectorize_sequences(sequences, dimension=10000):
  5.     results = np.zeros((len(sequences), dimension))
  6.     for i, sequence in enumerate(sequences):
  7.         results[i, sequence] = 1
  8.     return results
  10. # 将数据向量化
  11. x_train = vectorize_sequences(train_data)
  12. x_test = vectorize_sequences(test_data)

将标签向量化有两种方法：你可以将标签列表转换为整数张量，或者使用 one-hot 编码。one-hot 编码是分类数据广泛使用的一种格式，也叫分类编码（ categorical encoding）。 Keras 内置了这个操作：

  1. from keras.utils.np_utils import to_categorical
  3. one_hot_train_labels = to_categorical(train_labels)
  4. one_hot_test_labels = to_categorical(test_labels)

3. 构建网络

对于以前用过的 Dense 层的堆叠，每层只能访问上一层输出的信息。如果某一层丢失了与分类问题相关的一些信息，那么这些信息无法被后面的层找回，也就是说，每一层都可能成为信息瓶颈。上一个例子使用了 16 维的中间层，但对这个例子来说 16 维空间可能太小了，无法学会区分 46 个不同的类别。这种维度较小的层可能成为信息瓶颈，永久地丢失相关信息。

  1. # 模型定义
  4. from keras import models, layers
  6. model = models.Sequential()
  7. model.add(layers.Dense(64, activation='relu', input_shape=(1000, )))
  8. model.add(layers.Dense(64, activation='relu'))
  9. model.add(layers.Dense(46, activation='softmax'))
  • 网络的最后一层是大小为 46 的 Dense 层。这意味着，对于每个输入样本，网络都会输出一个 46 维向量。这个向量的每个元素（即每个维度）代表不同的输出类别。
  • 最后一层使用了 softmax 激活。你在 MNIST 例子中见过这种用法。网络将输出在 46 个不同输出类别上的概率分布——对于每一个输入样本，网络都会输出一个 46 维向量，其中 output[i] 是样本属于第 i 个类别的概率。 46 个概率的总和为 1。

对于这个例子，最好的损失函数是 categorical_crossentropy（分类交叉熵）。它用于衡量两个概率分布之间的距离，这里两个概率分布分别是网络输出的概率分布和标签的真实分布。通过将这两个分布的距离最小化，训练网络可使输出结果尽可能接近真实标签.

  1. # 编译模型
  3. from keras import optimizers, losses
  4. model.compile(optimizer=optimizers.RMSprop(),
  5.               loss=losses.categorical_crossentropy,
  6.               metrics=['accuracy'])

4. 模型训练

我们在训练数据中留出 1000 个样本作为验证集。

  1. x_val = x_train[:1000]  # 划分出来的验证集
  2. partial_x_train = x_train[1000:]  # 除去验证集后的训练集
  4. y_val = one_hot_train_labels[:1000]
  5. partial_y_train = one_hot_train_labels[1000:]
  1. # 模型训练
  2. history = model.fit(partial_x_train, partial_y_train, epochs=20, batch_size=512, validation_data=(x_val, y_val))
  • 注意，调用 model.fit() 返回了一个 History 对象。这个对象有一个成员 history，它是一个字典，包含训练过程中的所有数据。

绘制损失值图像：

  1. %matplotlib inline
  3. import matplotlib.pyplot as plt
  5. loss = history.history['loss']
  6. val_loss = history.history['val_loss']
  8. epochs = range(1, len(loss) + 1)
  9. plt.plot(epochs, loss, 'bo', label='Training loss')
  10. plt.plot(epochs, val_loss, 'b', label='Validation loss')
  11. plt.title('Training and validation loss')
  12. plt.xlabel('Epochs')
  13. plt.ylabel('Loss')
  14. plt.legend()

Keras 实现“路透社数据集”的新闻分类（多分类任务） - 图1

5. 在新的数据集上进行验证

你可以验证，模型实例的 predict 方法返回了在 46 个主题上的概率分布。我们对所有测试数据生成主题预测。

  1. predictions = model.predict(x_test)

predictions 中的每个元素都是长度为 46 的向量。最大的元素就是预测类别，即概率最大的类别。

小结

  • 如果要对 N 个类别的数据点进行分类，网络的最后一层应该是大小为 N 的 Dense 层。
  • 对于单标签、多分类问题，网络的最后一层应该使用 softmax 激活，这样可以输出在 N 个输出类别上的概率分布。
  • 这种问题的损失函数几乎总是应该使用分类交叉熵。它将网络输出的概率分布与目标的真实分布之间的距离最小化。
  • 处理多分类问题的标签有两种方法。
    • 通过分类编码（也叫 one-hot 编码）对标签进行编码，然后使用 categorical_crossentropy 作为损失函数。
    • 将标签编码为整数，然后使用 sparse_categorical_crossentropy 损失函数。
  • 如果你需要将数据划分到许多类别中，应该避免使用太小的中间层，以免在网络中造成信息瓶颈。