影像匹配、配准方法与综述

• 1.图像配准
• 2.图像匹配
• 3.总结
• 4.参考资料

简单概括各自概念如下：

• 匹配是指寻找两幅影像中相似的部分(基于特征点或灰度等)，从而找到与搜索图像相似的图像，过程中不对找到的相似图像做任何处理。

• 配准是指在不同变形的图像中寻找相似图像，并在匹配所获得的特征点对的基础上，对搜索到的影像进行几何校正等处理。

• 融合是指将多福不同视角、变换的图像通过几何变换等手段拼接成一张大图。

1.图像配准

可以理解为将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。

配准的技术流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。

特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。

有研究者根据待配准图像之间的关系，将图像配准分为多源图像配准、基于模板的配准、多角度图像配准、时间序列图像配准四大类。

而根据配准算法中对待配准影像信息的处理方法进行分类，也可以分为以下三类：

• 1.基于灰度信息的方法：交叉相关（互相关）方法，相关系数度量，序贯相似检测算法，信息理论的交换信息相似性准则。 与像素灰度信息的互相关算法相比，特征提取类的算法包含了高层信号信息，所以该类算法对光照、噪声等的抗干扰能力强。

• 2.基于变换域的方法：相位相关法，Walsh Transform变换。 通常是利用傅里叶变换为基础，进行频域内的配准。傅里叶变换能够用于具有平移、旋转、缩放的图像配准。

• 3.基于特征的方法：常用的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘（Robert、高斯-拉普拉斯LoG、Canny、Gabor滤波等边缘检测算子）或轮廓、闭合区域、特征结构以及统计特征如矩不变量等。 基于特征的配准方法是目前最常用的配准方法之一，该算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性。但是，由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。 根据选取的特征信息的不同，也可以把基于特征的图像配准方法划分为三类：基于特征点的匹配、基于特征区域的匹配、基于特征边缘的匹配。 一般所选取的特征点是相对于其领域表现出来具有某种奇异性的像素点。特征点往往容易被提取到，但是特征点所包含的信息相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找匹配的特征点是关键所在。

在图像中寻找某些明显的区域信息作为特征区域，然而在实际应用中寻找到特征区域后，采用最多的还是区域的形心点，所以这类算法要求特征区域提取的精度非常高。

图像中最明显的特征就是边缘，而边缘特征也是最好提取的特征之一。因此给予边缘的匹配方法鲁棒性较强，适用范围很广，但这类方法对特征边缘的提取要求很高，并且要求边缘信息全部用数学语言予以表述也较为困难。 如下图表示彼此关系。

2.图像匹配

匹配是指通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性分析，寻求相同影像目标的方法。 常见的基于像方灰度的影像匹配算法有：相关函数法、协方差函数法、相关系数法、差平方和法、差绝对值和法、最小二乘法等。 基于物方的影像匹配算法有铅垂线轨迹法（VLL，Vertical Line Locus）。基于像方特征的跨接法影像匹配、金字塔多级影像匹配、SIFT等等。

影像匹配实质上是在两幅（或多幅）影像之间识别同名点。最初的影像匹配是利用相关技术实现的，因而也有人称影像匹配为影像相关。 影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。 即取出以待定点为中心的小区域中的影像信号，然后取出其在另一影像中相应区域的影像信号，计算二者的相关函数，以相关函数最大值对应的相应区域中心点为同名点。 影像信号分部最相似的区域为同名区域，同名区域的中心点为同名点。这也是自动化立体量测的基本原理。 它是图像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤，在遥感、数字摄影测量、计算机视觉、地图学以及军事应用等多个领域都有着广泛的应用。

同名点的确定是以匹配测度为基础的，因此定义匹配测度是影像匹配最首要的任务，基于不同的理论或不同的思想可以定义各种不同的匹配测度，因而形成了各种影像匹配方法及相应的实现算法。 常用的相似性测度如下：

• 1.距离测度：均方根误差，差绝对值和误差，兰氏距离，Mahalanobis距离，绝对差，Hausdorff距离等

• 2.角度度量法（概率测度）

• 3.相关度量法

3.总结

其实在实际使用中，影像配准、匹配有些时候区分的并没有那么明显。就我个人理解而言，一般说匹配是指在两幅图像中寻找同名点对，而配准是指不仅要找到两幅图像的同名点对，还要基于同名点找到两幅影像间的变换模型并将影像重采拼接起来。

在之前的博客中说过的视频目标跟踪的那个算法便是基于模板匹配，而模板匹配就是基于灰度相关实现的。在ORB匹配那篇博客中，使用的便是基于点特征的匹配方法。

4.参考资料

• https://blog.csdn.net/angelazy/article/details/31733143
• https://blog.csdn.net/xuluohongshang/article/details/52886352
• https://blog.csdn.net/carson2005/article/details/38757379