部分文档资料：https://shimo.im/docs/qrpGq698Xt6rYtcV

1 计算机视觉基础：图像处理

核心知识点：图像相似变换、仿射变换；图像锐化、模糊、形态学运算；灰度直方图、直方图均衡化
计算机视觉的由来
计算机如何看到图像
计算机处理图像的方式

  • 读写图像
  • 图像基本属性
  • 图像相似性变化
  • 图像仿射变换
  • 锐化、模糊
  • 形态学运算
  • 灰度直方图、直方图均衡化

作业：实现数据增广、给图片加隐形水印

2 认识计算机视觉

核心知识点：方向梯度直方图（Histogram of Oriented Gradient, HOG)、图像局部纹理特征（Local Binary Pattern，LBP）、Haar-Like特征提取

  • 图像处理与计算机视觉
  • 计算机视觉的输入与输出
  • 如何解决计算机视觉的几个问题
  • 计算机视觉第一步：图像描述。HOG、LBP、Haar-Like

作业：实现对数字图像分类（特征提取、设计决策函数）

3 GPU如何在LeNet提升中发挥作用

核心知识点：GPU/CPU架构、GPU线程的操作与调度、认识pycuda库、用pycuda实现矩阵乘法

  • GPU/CPU架构：计算单元的对比
  • 对GPU线程的操作与调度：CUDA的作用
  • PyTorch中的CUDA
  • 跳过PyTorch直接操作GPU
  • 用GPU硬件线程实现CNN最核心层：卷积层

作业：使用pycuda库利用GPU的多线程技术、完成卷积层的计算

4 计算机视觉中的图像分类

核心知识点：AlexNet、VGG、ResNet、DenseNet、MobileNet、EfficientNet

  • CNN提特征设计：搭积木
  • 决策层的实现：output层设计
  • 边验证边搭建模型
  • 生成output需要的groundtruch
  • 经典模型DenseNet/MobileNet/EfficientNet

作业：基于深度学习垃圾图片智能检测分类项目

5 深度学习之两阶段目标检测

核心知识点：RCNN、NMS、Fast RCNN、Rol Pooling、Faster RCNN、RPN、Anchor
RCNN算法

  • 实现细节
  • NMS系列的发展

Fast RCNN算法

  • 实现细节
  • Rol Pooling系列的发展

Faster RCNN

  • 实现细节
  • RPN网络
  • Anchor

作业：用目标检测的模型检测矿泉水瓶

6 深度学习之单阶段目标检测

核心知识点：YOLO v1、YOLO v2、YOLO v3、YOLO v4、
SSD系列
YOLO系列

  • v1算法实现细节及loss
  • v2相较于v1的提升
  • v3算法，FPN网络
  • 先验框与统计框的设计
  • 对预测边框的约束策略
  • Passthrough
  • v4框架设计及训练技巧

作业：用mAP指标评价矿泉水瓶检测结果

7 计算机视觉中的图像分割

核心知识点：反卷积与上采样、全卷机网络（FCN）、UNet、ENet、Mask RCNN、TensorMask
图像分割

  • 像素分类思想、反卷积与上采样、跳级结构、FCN
  • 语义级：UNet/ENet
  • 示例级：Mask RCNN/TensorMask
  • 图像分割的发展

作业：用语义分割的方法进行矿泉水瓶分割

8 计算机视觉中的目标跟踪

核心知识点：TLD、KCF、卡尔曼滤波、mean-shift、粒子滤波

  • 为什么会有跟踪任务
  • 跟踪的方法（TLD/KCF）
  • 卡尔曼滤波原理与代码实现

作业：街景中的车牌识别项目