2019-周报28

weekly-report

1. low level 图像处理

通过查阅近三年的论文，low level的图像处理可以分为以下几个方向，每个方向的处理方法都可以分为CNN和GAN两种，在low level图像处理中没有发现新的方向

  • 超分
  • 去噪
  • 去运动模糊
  • 去雾去雨 （不知道算不算low level）
  • 高质量图像修复

另外，19年CVPR还发现一篇去水的论文A Method for Removing Water From Underwater Images

2. 2K到4K超分数据集制作

2.1 尺寸对超分的影响

目前大多超分数据集都是通过bicubic下采样得到低清输入，此类方法对于数据集图片分辨率不敏感。比如，用1080p bicubic下采样到540p的数据集训练的模型用来放大480p分辨率的图片也是没有问题的，主要可以通过两点来论证此结论：

  1. 训练模型数据都是经过裁剪的预处理，比如裁剪为64x64，41x41….，超分过程对输入图片的尺寸不敏感
  2. 超分的标准测试集如set5，set14，city100，Manga109都没有统一测试图片分辨率

综上，2K到4K超分数据集的制作采用传统的其它分辨率的数据集没有问题。

2.2 其它数据生成方式

使用bicubic下采样制作的数据集存在很明显的缺点，在放大其它下采样方式导致的失真图片时增益会明显下降。在这个问题上，目前的解决方案主要有以下两种。

  1. 使用更复杂的下采样方式代替bicubic下采样使其拥有更复杂的质量损失 [1, 3, 4, 5]。例如结合高斯下采样，泊松噪声，运动模糊等…….来制作数据集 [3]
  2. 通过调节相机参数获取真实世界中的图像对 (realistic LR-HR image pairs) [2].

就实际工业应用来说，针对具体应用场景做适配性的超分数据集效果可能更好。

3 网络设计

网络设计目前按照以下步骤进行

  1. 设计一个简易，易扩展，易于进行参数量控制的基础模型作为BaseModle
  2. 在BaseModule的基础上，拓展attention结构观察实验效果
  3. 再逐步拓展新功能观察结果……..

目前还在第一步进行大量试验，目标是试验出整体效果能超越CVPR投稿论文上的结构作为BaseModle。参数量在 20k–200k 之间adaptive。

Conference

  1. Gu, Jinjin, et al. “Blind super-resolution with iterative kernel correction.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
  2. Chen, Chang, et al. “Camera Lens Super-Resolution.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
  3. Radu Timofte, Shuhang Gu, Jiqing Wu, and Luc Van Gool. Ntire 2018 challenge on single image super-resolution: Methods and results. In CVPR Workshop, 2018.
  4. Zhang, Kai, Wangmeng Zuo, and Lei Zhang. “Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
  5. Zhang, Kai, Wangmeng Zuo, and Lei Zhang. “Learning a single convolutional super-resolution network for multiple degradations.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
Share Comments