2019-周报12

本周针对 SHVC 论文中QP问题进行了试验,实验中将QP分为四组,分别为21-25,26-30,31-35,36-40。以下是相关细节和目前为止的训练结果。除此之外和吴畅一块儿参加了天池优酷的超分比赛。

1 数据集介绍

根据网络结构,我们的每组数据由一个输入和两个标签组成,分别记为 input_lr label_lr label_sr 。其中 label_sr为高分辨原图,大小为82x82。 label_lr 为高分辨图通过bicubic下采样得到的低分辨图,大小为41x41。 input_lr 为低分辨图通过不同qp编码解码之后得到的噪声图。每五个QP为一组制作一个数据集,每个取96000张图,一组共480000张图。图片均通过BSDS500数据集裁剪增强得到。

2 网络结构

训练使用的是师兄之前设计的网络结构,由去噪和超分两部分组成。去噪部分由9层卷积层组成,深度为64,卷积核为3x3,激活函数均使用ReLU。超分部分由14层卷积层组成,深度为64,卷积核为3x3,激活函数均使用ReLU。去噪与超分均使用全局残差。

3 结果分析

实验结果表明将数据集由之前的单个QP改为现在五个QP混合的情况下,依然使用原网络并不能得到很好的效果。

3.1 混合训练

首先是将超分部分与去噪部分混合训练,各自权重均为0.5。

3.1.1 去噪部分

由于使用了全局残差,去噪部分在一个epoch不到便达到饱和,psnr不再上涨,psnr值变化情况如下

图1.train_QP21_psnr_lr

但是同原始输入图片数据对比易知,去噪部分并没有发挥出相应的作用。如下图红色框内所示,括号外面为去噪网络输出与标签图片之间的psnr值,括号内部为输入的噪声图片与标签之间的psnr值(下图使用数据集QP范围为21-25,所以带噪声图片psnr就已经很高)。结果表明去噪之后的图片psnr值并没有得到提升。

图2.train_QP21_psnr_lr_compare

3.1.2 超分部分

超分部分一直训练不上去,下图为QP 36-40之间时超分的psnr变化曲线。在现有的结构下改变网络的深度依然不能解决此问题。

图3.train_QP36_psnr_sr

3.2 单独训练

单独训练即超分部分loss的反向传播不影响到去噪部分的网络参数,结果与混合训练差别不大

3.2.1 去噪部分

单独训练时去噪部分收敛速度快于混合训练,收敛结果无明显差别

3.2.2 超分部分

超分部分与混合训练无明显差别

4 总结

训练过程中对网络进行修改激活函数,修改网络参数大小,修改学习率,修改超分网络与去噪网络的权重等操作,结果并没有得到明显的改善。

暂时计划尝试一下其他网络结构,将去噪与超分部分单独训练,两部分均有不错效果的情况下再进行组合实验。

Share Comments