每天分享一些读的论文,可能是详细的笔记,也可能是简单的略读带过。 理解有偏差的地方还望交流指出,共同进步。
1. [RL] Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software (AAAI 2020)
使用强化学习结合GAN网络来控制图像编辑软件来做图像增强,其中生成器作为控制图像编辑软件(如PS)的agent,生成器每次一组参数用于控制PS软件编辑图像,当编辑后的图像可以骗过判别器时,获得reward。作者将这个框架应用在图像的增强和人脸美颜上。 亮点:
- 生成器网络不直接参与图像编辑,而是生成一组控制编辑软件的参数,这可以减少artifacts的引入
- 可以直接编辑高分辨率的图像
- unpaired train
【资源链接】
- 代码地址 https://github.com/satoshi-kosugi/Unpaired-Image-Enhancement
- 作者 https://satoshi-kosugi.github.io/index.html
- arxiv https://arxiv.org/abs/1912.07833
【工作详细介绍】
训练判别器
λ is a weight for Z, and Z is a regularization term for the discriminator to stay in the set of Lipschitz continuous functions
训练生成器
由于图像编辑软件是不可微的,在设计这部分loss的时候需要改动。由于ps的等软件操作不可以视作线性的,所以,不同于之前的RL图像增强工作,这个工作中生成器作为agent每次只产生一个动作,而非作出一连串的动作。
所以reward定义为:
RL选择的是actor-critic(A2C)
【实验结果】
个人觉得这个比psnr之类的没有多大意义,因为它本身就是在原图上做一些增强,最后的叠加效果肯定会比普通方法好。尤其是会比基于GAN的生成网络好,因为PS软件本身不容易引入artifacts。
2. [low-light] Optical Flow in the Dark (CVPR 2020)
把光流估计和暗光照两个setting结合,提出新的setting—黑暗场景的光流估计。生成了个暗光照下的光流数据集,采集了个多种曝光条件下的光流数据作为benchmark数据集。 end-to-end training
【资源链接】
【不详细介绍】