直播5

主题

• 实现AlexNet

  大纲

• implement AlexNet

  • 重叠池化
• inference
• 解决过拟合
  • 权重衰减+**AdamW
    
  • 运行测试，验证缓解了过拟合
  • 
    
  • drop out
  • 
    
  • 不用LRN，而是使用Batch normalization
    将每层的输入进行归一化，有助于解决internal covariate shift问题。当然最近transformer流行的是Layer normalization。不同normalization的区别可以学习张俊林老师关于normalization的博客。

https://zhuanlan.zhihu.com/p/34879333

• 
  

• rename Repo name

  下次直播

  实现项目

• 数据预处理

• 图像增广

implement more network

learn GANCraft, find need technology(e.g. nerf, GAN, shade, …) and implement them one by one

计算加速

refer to:
https://zh.d2l.ai/chapter_computational-performance/index.html
https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter08_computational-performance/8.1_hybridize

• add webgpu, Web Neural Network API(webnn) backend
  • train backend: cpu, webgpu
  • inference backend: cpu, webnn
• 多GPU训练
  https://zh.d2l.ai/chapter_computational-performance/multiple-gpus.html

发布v0.1.0版本

two applications:
mnist
project