基于深度学习的视频缩放算法性能比较文献综述

文献综述（或调研报告）：

1. 引言

对于视频的增强与超分一直是计算机视觉领域十分重要的核心算法之一，目的在于对低分辨率的视频借助于算法的处理，提高视频的分辨率，实现其关键信息的高质量重建。对于基于深度学习的超分辨方法，其一般可分为两类，一种是对于单一图像的超分（Single Image Super Resolution，SISR），也可以理解为对于视频流中提取单帧进行图像的超分，另一种则是多帧图像的融合超分（Multiple-Image Super Resolution，MISR），即借助输入的多帧图像，识别其多帧图像之间的光流等微抖动信息，进而实现对于图像的超分。视频超分辨率(Video Super Resolution，VSR)，则是对于这两种技术的耦合，从而实现对于输入低分辨率视频流到高分视频流的转换。对于视频的缩放，在许多场景都有着重大需求，诸如在卫星成像领域进行图像的成像处理^[1][2]，医学领域对于显微图像的成像^[3][4]，人脸的超分辨^[5][6]，与对于文本图像的放大处理^[7][8]。

2. 传统图像缩放方法

对于传统的图像缩放方法，有诸如邻近插值，双线性插值，双三次插值等算法，并且在对于FPGA等平台的图像缩放实现中，由于基于深度学习的处理网络在参数与网络体量方面的局限性，过去很长一段时间中，相关的工作均借助传统算法实现^[9][10]。

3．网络模型架构对比

关于基于深度学习的网络模型，在本选题中主要分为三大类，即卷积神经网络（CNN）^{[11][12] [13]}，生成对抗网络（GAN）^[14][15][16]和循环神经网络（RNN）^[17][18][19]，这三大类网络分别有其独立的网络结构特性。

3.1卷积神经网络（CNN）

对于卷积神经网络（CNN），其主要特征即是卷积的运算方法，对于这一过程，可以借助传统机器视觉处理算法中的卷积滤波加以理解，而对于深度学习中的卷积网络，则是将这一过程中，不同卷积参数位置的数值获取，以拟合的方式进行运算，从而获得最适合于进行运算的计算方法。对于卷积神经网络，主要由卷积层，池化层，激活层与全连接层组成。

卷积层（CONV）作用于原图像的特征提取，常用的卷积核大小有3*3，5*5，7*7等大小，不同卷积核大小对应于不同的感受野，感受野越大，理论上可以提供更大的特征提取范围，而同时，对于大卷积核，如5*5大小的卷积核，也可以借助于两个3*3的卷积核进行替代^[24]，如图1所示，借助这样的处理，可以实现对于卷积核参数的降低与网络深度的加深，从而提高网络性能。