这周对训练好的网络的输出进行测试，在测试的过程中不断发现了新的问题，在对问题进行分析，补充试验，观察结果之后成功找到了问题的原因。
以下是整个过程中发现的问题，解决思路，以及试验结果，结果分析。
问题一：
问题描述：网络输出替换后EL码流升高
本周测试最终编码结果时发现使用网络输出替换之后，EL层的码流不降反升（几乎升高了两倍）。进一步测试发现网络输出的图像不如直接使用SHM插值器放大效果好。训练网络的时候将网络的输出与bicubic的放大结果比较，确实获得了
问题分析：数据集的制作方式
按照常识来说用网络替换SHM插值器之后效果不可能不升反降。分析SHM测试中的数据特征知道，使用SHM提供的下采用工具 TAppDownConvert.exe 下采样得到的小图经SHM上采用效果好于经过 bicubic 上采样效果(记此特性为特性A) ，所以我们的训练集同样应该满足这样的特性。但经过测试发现训练的数据并不满足此特性，说明训练小图(41x41)到大图(82x82)之间的映射关系与最终测试basketball数据的小图(540x960) 到大图(1080x1960)之间的映射关系不同。
训练使用数据的制作方式及测试结果如下图所示，可知下采样之后的的图片满足特性A，但在裁剪成小图的过程中会使其不满足特性A。
解决方式：重做数据集
分析可知上面数据制作过程中的切图过程毁坏了图片的特性，于是想到在裁剪得Sr_label 后再进行下采样与重建，修改之后的数据制作过程如下图
由于新的数据制作方式重建部分是对 Lr_label 进行编解码，而 41x41 尺寸的图片不能编码，会有以下错误提示，所以将输入尺寸改为了 42x42 与 84x84。
1 | yuv [info]: 41x41 fps 30000/1000 i420p8 frames 0 - 0 of 1 |
试验结果：
使用重新制作的数据集进行训练，训练和测试的结果都超过了SHM放大的效果。如下图所示，红框圈中的三个psnr分别是网络放大结果，bicubic放大结果，SHM插值器放大结果。可以看出SHM插值器效果好于bicubic，网络效果好于SHM插值器。测试集的图片尺寸和训练集相同，小图42x42，大图 84x84 。
本以为试验到这儿就顺利结束了，但是在测试编码用的BasketballDrive_960x540_500.yuv视频时结果却很糟糕，结果如下图 (红框圈中的三个psnr分别是网络放大结果，bicubic放大结果，SHM插值器放大结果)。
以上试验结果表明，网络对42x42放大到84x84效果很好，但是不能泛化到大图。使用网络将 960x540图片 放大到 1920x1080 时效果极差。
问题二：
问题描述：网络不能泛化到大图
问题一试验结果显示使用 42x42 与 84x84的数据训练与测试结果都很好，但是放大 960x540的图片到1920x1080时效果极差。
问题分析1：感受野导致
小图到大图效果差别显著，与师兄讨论之后可能是由于感受野导致的问题，所以想着改变网络感受野观察试验结果。
解决方案 1.1：减小网络层数
通过减小网络层数缩小感受野，缩小每个像素点的参考范围。由于这个方案试验起来最简单，所以首先试验了此方案。
试验结果 1.1
减小网络层数之后，结果同问题一几乎相同，小图的训练集与测试集效果都很好，但是测试大图时效果极差。
解决方案 1.2 ：调大训练集图片尺寸
试验1.1失败之后，继续从训练集部分寻找原因，重新制作训练集，将图片尺寸从之前的 42x42 与 84x84 扩大到了96x96 与 192x192 。
试验结果 1.2
结果与上面相同，大图结果极差
问题分析2
经过上面一系列试验失败之后开始重新思考整个问题。根据已有知识，既然是超分网络就不可能存在小图与大图之间有如此显著的差别。
之前的解决方案都是针对网络后半部分的超分网络进行改进，有没有可能是网络前半部分 (去噪部分) 导致的问题？于是将中间部分的输出保存下来，观察处理之后的效果，结果如下 (左边为原图，右边为去噪部分输出 )
大图去噪之后图片发生了肉眼明显可见的变化 (训练与测试集的小图均没有这种问题，去噪之后psnr均提高0.2–0.6 ) 。
解决方案 2.1
问题分析二部分表明，大图泛化差的问题主要是前面去噪部分导致。首先想到的解决方法就是除去去噪部分，做一个存粹的超分网络。
试验结果 2.1
在原网络中去除中间标签，训练网络。发现在没有中间标签的情况下网络的参数朝着完全不同的方向演变，最后训练结果，原去噪部分的输出与小图毫无关系。
使用原网络情况下去除中间标签，网络的收敛速度变慢，由于急于看最终结果，所以改了一下EDSR直接做超分训练。最终小图大图结果都正常，且相比SHM结果有 2db 左右的增益 (qp21 – qp25 )。下图是basketball视频的测试结果 (红框圈中的三个psnr分别是网络放大结果，bicubic放大结果，SHM插值器放大结果)。
总结
照理来说，去噪网络也是能够泛化到大图的，可能是在放大与超分混合之后导致这部分出现了问题，这部分试验比简单，单独做个去噪网络查看泛化到大图的结果就行了。
目前整个试验的结果都没有问题，剩下的就是补全剩下的试验。