引言
多模态图像匹配（MMIM）是指识别并对应来自两个或多个具有显著模态差异的图像中的相同或相似结构/内容。该技术在医疗、遥感和计算机视觉等领域有广泛应用，如医学影像配准、3D重建、目标识别等
医疗领域
信息理论方法
<b>互信息（MI）及其变体</b>：广泛用于多模态医学图像配准，但存在重叠不变性问题
<b>归一化互信息（NMI）</b>：改进了MI，用于临床MR和CT图像配准。
<b>条件互信息（cMI）</b>：结合张量积B样条非刚性配准方法。
模态统一方法
<b>域转换</b>：通过FFT、结构信息提取等技术将多模态图像映射到同一域。
<b>特征描述子</b>：如Zernike矩基局部描述子（ZMLD），增强鲁棒性和区分度。
基于特征点的方法
<b>部分强度不变特征描述子（PIIFD）</b>：用于低质量图像对的配准。
<b>SURF-PIIFD-RPM框架</b>：结合SURF检测器和PIIFD描述子，提高配准精度。
学习方法
<b>深度学习</b>：利用CNN生成可训练的特征检测器、描述子或相似性度量，提升配准性能。
<b>强化学习</b>：如Q-learning，用于心脏和脊柱3D CT和CBCT图像的刚性配准。
遥感领域
区域法
<b>频率域模态统一</b>：使用FFT和相位一致性算法消除模态差异。
<b>描述子法</b>：如MS-PC描述子，更稳健地处理辐射差异。
特征法
<b>共轭结构图</b>：提取边缘、轮廓等结构特征进行匹配。
<b>深度学习</b>：利用CNN生成多尺度特征描述子，逐步增加内点选择以提高配准效果。
计算机视觉领域
可见光与红外线
<b>区域法</b>：基于边缘特征提取和NMI优化。
<b>特征法</b>：结合Harris角点检测和SIFT描述子，实现高精度配准。
跨谱系
<b>近红外（NIR）</b>：通过梯度图引导目标图像进行配准。
跨时序
<b>日间与夜间</b>：利用建筑物轮廓或人工光源揭示的纹理细节进行匹配。
数据库和真实数据
原始图像对
医学、遥感和计算机视觉领域的多模态图像
从数据库中选取了涵盖18种模态对的原始图像对。
使用Matlab工具箱“cp2tform”基于直接线性变换（DLT）估计仿射参数，以确保无可见错位的最佳配准。
对于非刚性情况，使用TPS模型进行配准，并假设匹配的正确性逐个手动标记。
数据集获取
所有收集到的数据及其真实地标和变换矩阵可从GitHub仓库获取。
数据库地址：https://github.com/StaRainJ/Multi-modality-image-matching-database-metrics-methods
特征检测的评估
性能指标
重复率（Rep.）：衡量在两幅图像中提取的相同位置的可匹配点数量。
熵（En.）：评估检测器对描述符的影响，确保关键点分布均匀。
效率或运行时间（RT）：衡量检测器的执行速度。
实验结果表明，FAST和SURF在重复性和执行效率方面表现良好。PC图结合角点检测器可以显著提高性能，但需要额外计算负担。
检测器比较
选择12种典型检测器进行比较，包括Harris、FAST、BRISK、DoG（SIFT）、SURF、MSER、TILDE、LFnet和SuperPoint。
实验结果表明，FAST和SURF在重复性和执行效率方面表现良好。PC图结合角点检测器可以显著提高性能，但需要额外计算负担。
特征描述的评估
性能指标
匹配分数（MS）：衡量正确匹配的特征数量与所有检测到的特征数量之间的比率。
精度（Precision）：衡量假定匹配集合中正确匹配的数量。
召回率（Recall）：衡量通过描述符匹配实际找到的真实正确匹配的数量。
描述符比较
选择SIFT、SURF、ORB、SuperPoint和LFnet进行比较。
结果显示经典描述符如SIFT、SURF和ORB在多模态情况下不再适用，而RIFT和SuperPoint表现出色，尤其在医学数据上RIFT能够保留结构信息。
不匹配项去除的评估
方法比较
使用12种不匹配点去除方法进行比较，包括RANSAC、MAGSAC++、ICF、VFC、LLT、GS、SM、LPM、GMS、mTopKRP、LFGC和LMR。
结果表明，重采样和非参数模型方法在精度上表现良好，基于图的方法受限于计算负担，松弛方法如GMS和LPM效率高，基于学习的方法显示出潜力。
特征匹配器性能评估
可见光-红外图像
SIFT：正确匹配数低，召回率低。
SURF：正确匹配数和召回率较低。
SuperPoint-RIFT：表现较好，精度高。
日夜图像
SIFT：正确匹配数较高，但召回率低。
SURF：正确匹配数和召回率较低。
SuperPoint-RIFT：表现最好，精度和召回率均高。
跨季节图像
SIFT：正确匹配数和召回率较低。
SuperPoint-RIFT：表现较好，精度高。
图像配准技术评估
基于距离的度量
MAGSAC++在距离度量方面表现出色，其次是RANSAC、非参数和基于图的方法。
LPM和GMS由于松散约束和显著的外点，在某些场景下表现不佳。
基于结构相似性的度量
PSNR、SSIM和MI与图像重叠区域高度相关，MAGSAC++在这些度量上表现最佳。
这些度量在不同数据集上的变化范围较大，尤其在注册准确性稍有变化时。
应用领域
图像融合
IR与可见光图像融合
Fusion-GAN生成具有显著对比度和丰富纹理细节的融合图像。
Zhang等人采用生成对抗网络（GAN）以像素级信息引导模型生成全聚焦图像。
医学图像融合
Hou等人设计了基于CNNs和双通道脉冲皮层模型的CT和MRI融合方案。
Yang等人提出PanNet，通过高通滤波域训练网络，增强空间结构的保存。
多曝光与多焦点图像融合
Hayat等人提出了一种无鬼影的多曝光图像融合技术。
Guo等人使用条件GAN进行多焦点图像融合。
变化检测
单传感器变化检测
像素级变化检测（PBCD）和对象级变化检测（OBCD）是主要方法。
MIMOSA方法专门针对SAR时间序列设计，Wang等人引入了三元Markov场的无监督变化检测方法。
多传感器变化检测
差异图法、深度学习法和分类法是主要方法。
Zhang等人提出多空间分辨率变化检测框架，利用神经网络探索多传感器图像之间的内在关系。
图像定位
SeqSLAM方法通过可视化导航适应环境变化。
Naseer等人提出一种视觉定位方法，利用HOG特征和深度CNN全局描述符实现鲁棒定位。
InLoc方法通过高效检索候选姿态、密集匹配估计姿态和虚拟视图合成验证姿态，缓解室内定位挑战。
目标识别与跟踪
Cheng等人提出IR与可见光图像间的目标识别算法。
Yoon等人提出前视IR图像中的自动空中目标识别与跟踪方法。
Zhou等人研究了多视角前景匹配模型，结合HOG检测和系统聚类实现移动目标检测与识别。
结论与未来趋势
MMIM仍面临图像数据不足、面积法局限性、特征提取困难等挑战。
需要开发更准确、鲁棒和高效的误匹配移除方法，以及能够处理所有类型多模态图像的通用匹配方法。
尝试将匹配问题集成到高级任务中进行组合优化，或直接从未对齐图像执行最终任务。
