图像SR重建的概念是Harris[1]和Goodman[2]首先提出的，其提出的时间大约在20世纪60年代，他们提出的这种概念是针对于单张图像重建的，在提出概念的同时他们还一并给出了线性外推算法以及正弦模板算法。但在实际应用中，各种噪声的影响使得应用结果没能达到预期的效果，因此没能得到广泛的使用。后来，直到1984年，Tsai和Huang[3]首次提出了通过序列图像来实现SR重建的概念，并且在频域上实现了算法。他们假定低分辨率序列图像没有噪声和模糊，图像之间仅存在相互位移，然后在使用傅里叶变换(Fourier Transformation，FT)的移位特性的基础上，对观测图像进行运算，最后再进行傅里叶逆变换（inverse Fourier transform,IFT），这样单幅HR图像就被成功的获得了。自1980年以来，计算机、图像处理等领域蓬勃发展，在它们的带动下，SR重建技术也取得了重大突破。

在国外，研究超分辨率重建的科研工作者急剧增加。通过在美国的Web of Science 数据库对标题包含super-resolution的论文进行统计，结果显示，其论文的数量与被引用的次数呈现大幅度增长，如引用数量从1996年的几十篇到2005年的500多篇，到2015年接近7000篇。同时，各种各样的超分辨率重建算法被国外研究工作者提出并得以运用，例如Rajan和Wood[4]等研究者分别把物理知识和成像透镜散射方面的知识运用于超分辨率重建；基于融合的正则化方法也被韩国的研究者们提了出来；以色列的Elad教授将最小二乘法用于超分辨率重建。

在国内， SR重建领域兴起的时间相对较晚，以致于发展也较为缓慢。但是我国的很多研究者也对其产生了极大的热情，富有极高的积极性。例如分别以北京大学、中科院电子研究所为代表的学校和研究所在图像超分辨率重建方面做出了极大的贡献。

由于SR重建技术在硬件方面没有过多的要求，高分辨率的图像只需要通过软件处理就可以得到，因此SR技术被大量地运用于实际操作中，例如，卫星成像、视频转换等方面。虽然发展很快，但该技术还远未成熟， 还有很多问题需要解决。例如成熟的观测模型、精确的图像配准、时效性与复杂程度、适应不同场合的重建算法。