Title
When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach
代码:https://github.com/Ding-Liu/DeepDenoising
Summary
用Unet结构实现较好的去噪效果
我比较看重的点是因为这篇证明了UNet结构在图像复原上的有效性
Contribution(s)
- 提出一个网络用来去噪
- 提出一个网络拥有两个模块分别对应去噪和不同的高语义任务,并使用联合损失去优化去噪模块。作者证明:通过高级别视觉信息的引导,去噪网络的效果会很好。
Problem Statement
Method(s)
网络结构还是挺清楚的,用了一个类似Unet的结构,Feature Encoding和Feature Decoding如上图(b)、(c)所示,用了类似ResBlock+MobileNet的结构。
训练的时候,找到一个预训练好的用于无噪声图像的高级说到底任务的网络,将它固定住接在Denoising Network的后面,实现端到端训练。作者说这样的好处有2:1. 去噪网络比较鲁棒;2. 能直接用于其它的高级语义任务而不需要finetune。(这边的好处我不是很能理解,以及这个结构很像lpips的作用)
损失函数:
重建损失(MSE)+ 高级语义任务自身的损失(分割或者是分类的损失)