（学是学不明白了……看看ctrl+c/v能不能明白……
（原来我的N卡还有用到的一天……
实验0
- CrossEntropyLoss 是什么？
交叉熵，关于如何评估信息量的那部分内容是香农于1948年提出的信息论的内容，自此信息的传输从定性走向定量，真正称为一门可以度量的科学学科。香农也被称为信息论之父。有感兴趣的伙伴可以去搜索一下信息论的相关知识。香农的那篇开创信息论的论文（A Mathematical Theory of Communication）可以去看看，英文并不太难。
信息熵的提出主要基于概率，概率越小的事件出现的时候信息量越大。一个经典的例子：倘若我说，“明天太阳会从东方升起”，那么这句话的信息量几乎为0；而我说“今天某时某地会发生地震”，因为发生的概率极小，那么这句话的信息量就趋于无穷，在公式上的体现也是如此。
交叉熵的主要主要刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则
- 去看看卷积网络中 Conv2d 和 MaxPool2d 是什么？为什么要用 MaxPool2d
若有收获，就点个赞吧
0 人点赞
