3.1 神经网络剖析

1.输入数据、权重矩阵、标签值、优化器、损失函数之间的关系.

2.各种维度的张量以及处理的网络结构

• 2d tensors：(samples，features)—->(60000，28*28)——->fully connected layers or dense layers
• 3d tensors:（samples,timestep,features）[序列式数据]——>LSTM

• 4d tensors:images(samples,weight,height,channels)—->CNN(2d conv)

  3.常见的神经网络架构

• 线性叠加式：linear stack

• two branch network:双输入的网络
• multihead network:多输出的网络

• 多输入的例子：比如想要使用深度学习去做英语试卷，一个输入是文章，另一个输入是问题，共同作为输入。最终得出结果(单输出)

                           ![image.png](https://cdn.nlark.com/yuque/0/2021/png/1379843/1611994346803-632aa067-c4d8-4039-964a-3193b73d0aa5.png#align=left&display=inline&height=580&margin=%5Bobject%20Object%5D&name=image.png&originHeight=943&originWidth=736&size=177977&status=done&style=none&width=453)

• 多输出的例子：输入一个人的一些文字资料，想要输出其年龄、收入、性别(多输出)

• Inception blocks

  4.多个损失函数的情况

• 网络如果有多个输出(如上网络结构)，那么必定会有多个损失值

• 此时要利用加权等方法将多个损失值转换成一个值，再进行梯度下降法更新参数。

  5.损失函数的选取问题

  

• CTC一般是序列学习任务，比如智能对话机器人。