基于云平台的海量高光谱数据管理系统设计与实现(2)

Keywords Hyperspectral Image,Massive data management ,Cloud computing ,Hadoop ,Spectral characteristics, HDFS 目 次 1 绪论1 1.1 工程背景与意义1 1.2 国内外研究现状2 1.3 总体


Keywords  Hyperspectral Image,Massive data management ,Cloud computing ,Hadoop ,Spectral characteristics, HDFS

目   次

1  绪论 1

1.1  工程背景与意义 1

1.2  国内外研究现状 2

1.3  总体技术方案及社会影响 4

1.4  技术方案的经济因素分析 5

1.5  论文的主要内容 5

2  相关概念与技术 7

2.1  高光谱遥感图像相关概念与技术 7

2.2  基于Hadoop的云计算相关概念与技术 8

2.3  相关web技术 13

3  基于云平台的高光谱遥感图像管理系统设计 17

3.1  高光谱遥感图像管理系统数据库设计 17

3.2  高光谱遥感图像管理系统功能设计 19

4  基于云平台的高光谱遥感图像管理系统实现与测试 24

4.1  开发环境 24

4.2  具体实验结果及分析 24

5  总结与展望 30

5.1  研究总结 30

5.2  研究展望 31

致  谢 32

参 考 文 献 33

图2. 1 高光谱图像示意图 7

图2. 2 云计算部署模型图 9

图2. 3  HDFS的体系结构图 11

图2. 4 MapReduce编程模型 12

图2. 5 SpringMVC原理图 13

图2. 6 JavaScript与jQuery关系图 15

图3. 1 基于云平台的海量高光谱数据管理系统结构功能图 20

图3. 2 高光谱遥感图像入库过程 20

图3. 3 常见的矿物的光谱曲线 22

图4. 1 系统主页面 25

图4. 2 选择文件上传 25

图4. 3 上传文件有误提示信息 26

图4. 4 查看图像元数据信息 26

图4. 5 图像上传成功至hadoop上面 27

图4. 6 上传图像的头文件信息(1) 28

图4. 7 上传图像的头文件信息(2) 28

图4. 8 上传图像的头文件信息(3) 29

图4. 9  图像转换格式页面 29

图4. 10 图像转换成功元数据改变 30

表1. 1 主流的高光谱成像仪 3

表3. 1 高光谱图像元数据信息数据库设计表 17

1  绪论

1.1  工程背景与意义

2000年11月发射的NASA地球观测1(EO-1)平台标志着建立了用于地面成像的太空高光谱技术[1]。高分辨率的高光谱图像可以提供丰富的地表信息,因此在矿物勘探,军事侦察,环境监测等领域得到广泛应用[2]。在现有的下行链路带宽下,巨大的数据量对卫星的数据存储和传输造成沉重的负担。经过多年的发展,通过遥感技术获得的遥感数据以其丰富的图像与光谱信息在国土资源利用、农业遥感、大气研究、环境监测、地质勘探等领域都有着不同程度的应用,已经成为了人类研究地表系统不可或缺的强有力手段。高光谱遥感实现了遥感数据图像维与光谱维信息的有机融合,在光谱分辨率上有巨大优势,是遥感发展的里程碑[4]。

尽管成像光谱仪具有很多优点,但是其获取的庞大的数据量给应用和分析带来许多困难。与其相矛盾的是随着科学技术的飞快进步与发展,我们对数据的要求也越来越高,通过这些更精准合丰富的数据,我们能获取到更安全、可靠、及时、准确的信息,从而开展接下来的研究与分析。如何获取这些信息,已成为遥感数据处理的一个重要研究方向[5]。由于高光谱遥感数据的广泛应用,使得遥感数据以爆炸性地增长,遥感影像数据的波段数目越来越多,获取单幅影像数据的量也越来越大,形成了GB级、TB级、PB级的发展趋势[5]。美国宇航局(美国航空航天局)和美国国家海洋和大气管理局(NOAA)每天都有数百颗卫星观察地球,除了欧洲,中国,日本等地的卫星,EOD(地球观测数据)已经超过了百万亿字节[6]。且这些数据都有其特定的价值与意义,因此面对如此庞大的数据量,如何进行有效的组织、存储、管理成为了一个亟待解决的问题。近些年来,随着云计算技术的不断成熟与发展,越来越多的应用都更加愿意尝试这种新的技术。云计算为高分辨率遥感影像快速获取及高效处理提供了一种新的可能,建立分布式的高光谱遥感数据存储、共享、管理以及高性能的应用集成变得尤为重要。