Simultaneous Image Registration and Fusion in a Unified Framework

图像融合

 

Foreword

  • 2015年录用于IEEE Transactions Image Processing(TIP)
  • 第一作者chen chen, specially on low level image to image processing.

 

Conceptual Understanding

 

Abstract

  • 本文提出在同一地理位置上融合高分辨率全色图像(high-resolution panchromatic image)和低分辨率多光谱图像(low- resolution multispectral image)的新方法。
  • 化为凸优化问题,是最小化最小二乘拟合项和动态梯度稀疏性正则化的线性组合。前者是为了保持多光谱图像的准确光谱信息,后者是为了保持高分辨率全色图像的清晰边缘。why?
  • 提出在融合过程中同时配准两幅图像,这是通过动态梯度稀疏特性自然实现的。
  • 大量的实验结果表明,所提出的方法在空间和光谱质量方面明显优于其他方法。

 

Introduction

  • 多光谱(MS)图像在遥感领域应用广泛,高分辨率质谱传感器的设计受到机载存储和带宽传输基础设施限制。具有高空间分辨率的全色(Pan)灰度图像可以更方便地获得,因为它们由数量少得多的像素组成。我们期望通过图像融合获得高空间分辨率和高光谱分辨率的图像,这在文献中也被称为泛锐化。
  • 图像融合是一个典型的逆问题。第一个问题是如何从MS和Pan中保留准确的信息。

  • 许多传统方法使用投影和替换,包括主成分分析(PCA)、强度色调饱和度(IHS)、小波(wavelet)及其组合。这些方法在以下方案中执行融合:上采样、前向变换、强度匹配、组件替换和反向转换。但它们很可能受到光谱失真的影响。

  • 为解决光谱失真,提出一些变分方法,基于稍微弱的假设来制定能量函数,然后优化这样的函数以获得最佳值。这些方法也被称为基于模型的融合。然而,由于缺乏有效的模型来保存空间信息,在融合结果中可能会出现可见的伪影或模糊。此外,所有这些方法通常涉及高计算复杂性,这使得这些方法无法扩展到大规模数据集。

  • 融合中的第二个问题是如何减少失调的影响。以上方法几乎都需要在融合前进行精确的配准。然而,由于输入图像之间的显著分辨率差异,预配准相当具有挑战性。预配准后,当分辨率相差四倍时,多光谱图像上0.5像素的失准对应于全景图像上2像素的失准。

  • 本文提出了一种新的图像同时配准和融合的方法,以首字母SIRF命名。

  • 我们假设下采样后的融合图像应该接近输入的MS图像,该图像被公式化为最小二乘拟合项以保持光谱信息。

  • 受融合图像和输入Pan图像之间的地理关系的驱动,发现、定义并利用动态梯度稀疏特性来提高空间质量。重要的是,我们发现组合模型不违反遥感物理,并且动态梯度稀疏性自然地诱导精确配准,即使在严重的强度失真下。

  • 此外,方法结合了不同波段的内在相关性,这是以前很少考虑的。为了优化整个能量函数,设计了一种基于最近梯度技术的新算法。具体来说,通过分别应用快速迭代收缩阈值算法(FISTA和带回溯的梯度下降法)来有效地解决子问题。整个算法在每次迭代中保持线性计算复杂度,因此可扩展到大规模数据集。该算法可直接应用于真实数据集,无需预过滤、特征提取、训练等。

  • 最后,SIRF只有一个非敏感参数,这是与现有变分方法相比的另一个优点。大量实验结果表明,我们的方法可以显著减少光谱失真,同时保留融合图像中清晰的物体边界。