基于SURF的图像匹配系统设计文献综述

文献综述（或调研报告）：

图像匹配技术是许多计算机视觉应用中的一项任务，广泛应用于计算机视觉各类任务，从不同视角下拍摄的图片进行拼接、智能手机等摄像设备的图像降噪、图像超分辨率应用、视频防抖，到目标跟踪、超分辨率影像重建、3 维重建、视觉导航[8]等等，作为最基础的图像处理技术，经历了一系列的发展，经历了由角点检测到特征描述，最后到如今的深度学习时代，对图像匹配技术的研究改进一直都是必要的工作。

（一）特征点检测

特征点是指在图像中具有位置、方向、尺度等信息的特殊点，角点检测算法中最常用的是基于图像灰度的方法，一开始最常用的检测子是1988年提出的基于二阶矩矩阵的Harris角点检测子[1]。然而，Harris角点不是尺度不变的，于是Lindeberg介绍了自动尺度选择的概念，可以根据兴趣点的特征尺寸检测兴趣点，他用Hessian矩阵和Laplacian矩阵的秩（以及Hessian的迹）检测类似斑块的结构[2]。Mikolajczyk 和 Schmid提炼了这种方法，创造了鲁棒性好，尺度不变，高重复性的特征检测子，称为Harris-Laplace和Hessian-Laplace,他们使用（适应尺度的）Harris方法或者Hessian矩阵行列式来选择位置，使用Laplacian选择尺度[3]。为了提高速度，Lowe提出了用Difference of Gaussians (LoG)来近似Difference of Gaussians (DoG)的方法[4]。

前人已得到这样的结论，基于Hessian矩阵的检测子比基于Harris的更稳定和可重复。另外，Hessian矩阵行列式也比较有优势，因为它对于拖尾的，局部错误的结构误警更少。可以观察到，它的DoG近似能在不怎么损失精确度的情况下提高速度。

（二）特征描述子

描述子代表特征点附近的小范围特征分布。Lowe发明的基于相位局部特征因为其获取了大量空间强度信息，同时对小范围变形和局部错误有稳健性，进而效果是比较优异的[5]。具有划时代意义的SIFT描述子计算兴趣点附近的方向梯度柱状图，存储为128D向量，由此打破了角点检测的僵局，不再局限于对角点的检测,SIFT算法的提出标志着现代局部图像描述符研究的开始[11]。这种基本方法的优化版本有很多，Ke和 Sukthankar把PCA加入到兴趣点附近的梯度图,PCA-SIFT输出36D描述子，匹配更快，但是Mikolajczyk 在一篇对比论文中指出，其鉴别度低于SIFT，并且PCA计算低于SIFT[6]，因而作者提出了一种SIFT的变种，叫做GLOH，它的鉴别度比SIFT高，但是计算量更高，因为这种算法也使用PCA提取数据。实际应用中，SIFT描述子仍然是最吸引人，也是最常用的描述子。但是描述子的鉴别度和速度对于即时应用很关键。Grabner et al.用积分图近似SIFT,他们的检测方法不需要插值，描述子基于积分柱状图，这改善了速度[8]。概括的说，描述子的高维度是SIFT在匹配阶段的缺点。对于普通PC上的即时应用来说，这三个阶段（检测、描述、匹配）都要快。

提高匹配速度的方法有很多，全都是减少近似匹配的计算量。这些方法包括：Lowe的最优值优先、balltrees、词汇树、位置敏感哈希、冗余比特向量等。此外，可以使用Hessian矩阵来大大提高匹配速度[7]。

（三）特征匹配

特征点经过检测，生成描述子，还要经过匹配，正确匹配才能宣告任务的成功，匹配的成功与否通常基于一些距离度量，比如欧式距离和马氏距离。在建立两幅图像之间局部特征的匹配关系时，需要满唯一性、相似性、连续性三个基本约束条件，即物体表面任意一点到观察点距离是唯一的，因此其视差是唯一的，给定一副图像中的一点，其在另一幅图像中对应的匹配点最多只有一个；对应的特征应有相同的属性，在某种度量下，同一物理特征在两幅图像中具有相似的描述符；与观测点的距离相比，物体表面因凹凸不平引起的深度变化是缓慢的，因而视差变化是缓慢的，或者说视差具有连续性，常见的策略上则有固定阈值、最近邻搜索、最近邻距离比等。固定阈值法，即待匹配目标与模型之间的距离小于某个阈值，则认为匹配上了，该方法非常简单，但是阈值的确定非常困难，而且目标很容易匹配上多个模型，从而产生大量的误匹配；最近邻搜索，即目标只匹配与其距离最近的模型，实际应用中一般还需要满足距离小于某个阈值的条件，该方法只有一个最佳的匹配结果，相对于距离阈值法来说，正确率要高。