1.神经网络的计算

神经网络的设计过程
神经网络实现鸢尾花分类
image.png

  1. #导入所需模块
  2. import tensorflow as tf
  3. from sklearn import datasets
  4. from matplotlib import pyplot as plt
  5. import numpy as np
  7. #导入数据，分别为输入特征和标签
  8. x_data = datasets.load_iris().data
  9. y_data = datasets.load_iris().target
  11. #随机打乱顺序（因为原数据是有序的，不打乱会影响准确率）
  12. #seed: 随机数种子，是一个整数，当设置之后，每次生成的随机数都一样（方便教学，以保证每个同学的结果都一样）
  13. np.radom.seed(116)#使用相同的seed，保证输入特征和标签一一对应
  14. np.random.shuffle(x_data)
  15. np.seed(116)
  16. np.random.shuffle(y_data)
  17. tf.random.set_seed(116)
  19. #分为永不相见的数据集（训练集和测试集），训练集为前120行，测试集为后30行
  20. x_train = x_data[:-30]
  21. y_train = y_data[:-30]
  22. x_test = x_data[-30:]
  23. y_test =y_data[-30:]
  25. #转换x的数据类型，否则后面矩阵相乘可能会应数据类型不一致报错
  26. x_train = tf.cast(x_train, tf.float32)
  27. x_test = tf.cast(x_test, tf.float32)
  29. #from_tensor_slices 函数使输入特征和标签值一一对应（把数据集分批次，每个批次batch组数据）
  30. train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)
  31. test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)
  33. #生成神经网络的参数，4个输入特征，故输入层为4个输入节点；因为3分类，故输出层为3个神经元
  34. #用tf。Variable（）标记参数可训练
  35. #使用seed使每次生成的随机数相同（方便教学，使每个同学的结果相同，在现实使用中不写seed）
  36. w1 = tf.Variable(tf.random.truncated_normal([4, 3], stddev=0.1, seed=1))
  37. b1 = tf.Variable(tf.random.truncated_normal([3], stddev=0.1, seed=1))
  39. lr = 0.1 #学习率为0.1
  40. train_loss_results = [] #将每轮的loss记录在此列表中，为后续画loss曲线提供数据
  41. test_acc = [] #将每轮的acc记录在此列表中，为后续画acc曲线提供数据
  42. epoch = 500 #循环500轮
  43. loss_all = 0 #每轮分4 step，loss_all记录四个step生成的4个loss的和
  45. #训练部分
  46. for epoch in range(epoch): #数据集级别的循环，每个epoch循环一次数据集
  47.     for step , (x_train, y_train) in enumerate(train_db):  #batch级别的循环，每个step循环一次
  48.         with tf.GradientTape() as tape:  #with结构记录梯度信息
  49.             y = tf.matmul(x_train, w1) + b1 #神经网络的乘加运算
  50.             y = tf.nn.softmax(y)  #使是输出的y符和概率分布(此操作与独热码同量级，可相减求loss)
  51.             y_ = tf.one_hot(y_train, depth=3) #将标签值转换为独热码格式，方便计算loss
  52.             loss = tf.reduce_mean(tf.square(y_ - y))
  53.             loss_all += loss.numpy()
  55.             grads = tape.gradient(loss, [w1, b1])
  57.             #实现梯度更新 w1= w1 -lr* w1_grad b=b-lr*b_grad
  58.             w1.assign_sub(lr * grads[0])
  59.             b1.assign_sub(lr * grads[1])
  62.             print("Epoch {}, loss: {}".format(epoch, loss_all/4))
  63.             train_loss_results.append(loss_all / 4) #将4个step的loss求平均记录在此变量中
  64.             loss_all = 0 #loss_all归零，为记录下一个epoch的loss做准备
  66.             total_correct, total_number = 0, 0
  67.             for x_test, y_test in test_db:
  68.                 #使用更新后的参数进行预测
  69.                 y = tf.matmul(x_test, w1) + b1
  70.                 y = tf.nn.softmax(y)
  71.                 pred = tf.argmax(y, axis=1)
  72.                 #将pred转换为y_testd数据类型
  73.                 pres = tf.cast(pred, dtype=y_test.dtype)
  74.                 #若分类正确，则correct=1,否则为0，将bool型的结果转换为int型
  75.                 correct = tf.cast(tf.equal(pred, y_test), dtype=tf.int32)
  77.                 correct = tf.reduce_sum(correct)
  79.                 total_correct += int(correct)
  82. #绘制loss曲线
  83. plt.title('Loss Fuction Curve')
  84. plt.xlabel('Epoch')
  85. plt.ylabel('Loss')
  86. plt.plot(train_loss_results, label="$loss$")
  87. plt.legend()
  88. plt.show()
  90. #绘制Accuracy曲线
  91. plt.title('Acc Curve')
  92. plt.xlabel('Epoch')
  93. plt.ylabel('Acc')
  94. plt.plot(text_acc, label="$Accuracy$")
  95. plt.legeng()
  96. plt.show()

2.神经网络的优化

3.神经网络八股

4.网络八股扩展

5.卷积神经网络

6.循环神经网络