2019-周报16

2019-07-19

weekly-report

本周阅读VR和全景图的相关论文[1] [2] 初步了解了此领域的相关研究工作，重点阅读了全景图编解码的相关标准文件[3] [4] [5]。了解了JEVT关于全景图编码的测试工具包360Lib [6] [7] , 以及360^o 视频到平面视频的投影算法ERP[8]，阅读了师兄之前关于VR实时编码的论文[9] [10]，对360^o 视频编码有了初步的了解。针对之前SVC的试验，使用新的网络重新训练并得出了结果。除此之外最近在补专业相关的数学知识。

1. 360^o 视频编码

通过在谷歌学术上搜索关键词 Virtual Reality 和 panorama 阅读引用量最多的文献，大致了解了VR和全景图领域的主要研究内容。Virtual Reality 的搜索结果大多是概念性的东西，以及各种相关的专利，没有太大的参考价值。panorama 大多研究内容是围绕全景图片的拼接，立体图片拼接相关的研究。

重点调查了有关VR编码方向的相关标准，主要参考了JVET common test conditions and evaluation procedures for 360° video 和 Subjective testing method for 360° Video projection formats using HEVC 两个文件。

1.1 编码流程

week16-VideoTestingProcedure

编码流程如上图所示，VR投影方式采用等距柱状投影(Equi-Rectangular Projection, ERP)。和传统编解码相比仅仅多了投影的步骤，将立体图投影为平面图进行编解码。JVET官方提供了 360Lib 工具包来实现投影操作，并且支持与 H265/H266等测试工具结合使用。

2. SVC新增试验结果

week16-QPcompare

SVC新增试验结果如上图所示，最短收敛最快的曲线为论文中使用网络的结果(因为加载了预训练参数，所以开始收敛很快，且总训练Epoch最少)。另外两条曲线，最蓝色的曲线为超分部分使用WDSR替代之后的结果，橙色最长的曲线为去噪超分分别使用DnCNN和WDSR替代之后的结果。观察曲线可以基本可以得到以下两个结果。