2019-周报23

本周主要在64通道FRCNN的基础上试验了网络剪枝的效果,同时在之前的网络结构的基础上通过增加channel观察增益变化情况,具体试验结果如下。

1 增加channel试验

以下试验结果均是BasketballDrive码流在RandomAccess编码模式下得到

1.1 BPRN试验结果
QP 22 增益 (db) QP 37 增益 (db) 参数 (个)
channel 32 0.1999 0.5314 14945
channel 64 0.2891 0.6661 48321
1.2 FRCNN试验结果
QP 22 增益 (db) QP 37 增益 (db) 参数(个)
channel 32 0.2339 0.4993 19169
channel 64 0.2885 0.7216 75201
1.3 总结

由试验结果可以看出channel由32增加到64增益有明显的提升,但算上参数量增加,BD稍有下降。同时,具体实现的过程中,学习率,图片裁剪大小等细节也会引起大约 ±0.05 的增益波动。

2 FRCNN剪枝

本周的主要工作是试验网络剪枝的情况,由于BPRN网络各卷积层之间交替连接,不能用市面上常用的减枝方法试验,所以最后选择了FRCNN进行剪枝试验。

2.1 剪枝简介

FRCNN结构中,仅中间循环部分的两组卷积核可使用传统剪枝方法。剪枝过程中特征图卷积核的变化情况可简单由下图表示(仅中间两层卷积变化情况):

prune

由图可见,对卷积核1进行剪枝,会使其输出特征图通道数减小,下一个卷积核的对应的输入通道也需要剔除,在对复杂网络结构的剪枝中前后卷积的关联会导致剪枝涉及到的卷积核增加。

2.2 试验结果

以下试验结果是在原始通道64的FRCNN基础上进行的剪枝,每次裁剪2个通道,每次剪枝后进行10个Epoch的微调。下表是试验的部分数据统计

层数 64 60 56 52 48 44 40 36 32 28
参数 75201 70593 65985 61377 56769 52161 47553 42945 38337 33729
增益(db) 0.721 0.657 0.620 0.593 0.561 0.551 0.523 0.509 0.477 0.467

由于每次剪枝之后仅进行了10个epoch的微调,所以每次剪枝之后并未达到完全的收敛。不过从总体趋势来看结果并不理想。

参考资料

Share Comments