使用HDFS分布式文件系统来管理海量数据对用户来说,降低了自身的消费,因为它运行于廉价的商用机器集群上;对社会来说,有利于资源的有效利用,避
使用HDFS分布式文件系统来管理海量数据对用户来说,降低了自身的消费,因为它运行于廉价的商用机器集群上;对社会来说,有利于资源的有效利用,避免浪费,同时大量数据存在云上更不易丢失。但是有优点就会也缺点,因为在云上的数据在存取上有一定的时延,有可能影响用户体验。这种思路给未来的海量数据管理系统提供了一个新的方向,未来的数据量只可能更多,因此有效地组织和管理这些海量数据还任重道远。
1.4 技术方案的经济因素分析
海量数据管理系统主要有两个要求:一是能存储和处理超大文件,二是价格适宜,处理方便。Hadoop设计对应急需求比较低,不需要那些极其昂贵的高可用性机器,只须运行在低廉的商用硬件集群上即可[12]。这是我们选择将海量数据管理系统建立在它基础上的重要原因,用更少的价钱可以获得更高的吞吐量。除此之外,使用云平台没有网络限制,我们在任何时间、任何地点都可以对其进行操作,用户也不必增加一些其他的额外设备来进行管理,这降低了用户使用的成本和维护的成本。根据云计算按需使用的特性,用户根据自己的需求使用资源,在这方面的花费也会更加合理、经济,更重要的是,资源能被合理的分配到必要的地方,减少了浪费,对国家经济具有积极影响。
1.5 论文的主要内容
1.5.1 论文主要内容
随着高光谱图像的广泛应用,存储和管理海量高光谱图像数据成为了十分重要的环节,本文在研究学习Hadoop分布式平台的基础上,提出在Hadoop平台上实现一个高光谱遥感数据管理系统,依靠Hadoop分布式并行计算的优势,存储和管理海量数据。本文研究的主要内容包括:
(1)对当前的遥感技术、高光谱图像、云计算等技术进行研究,了解在云平台上存储和管理海量数据的优势,与此同时结合国内外实际,总结其他学者取得的研究成果,提出在该研究领域中可能面临的相关问题与相应的解决方案,并总结出本文研究的可行性。
(2)对高光谱图像相关知识、云计算、SpringMVC框架等相关概念和技术进行介绍,研究如何在Hadoop平台上传和管理数据,并关联到web应用上面,对这些web技术进行较为详细的叙述。
(3)设计并完成本系统,该系统的功能主要有高光谱遥感图像上传、高光谱遥感元数据和原始图像数据的存储管理设计、高光谱遥感图像格式转换、高光谱遥感图像光谱特征分析。总结实现过程中需要的理论知识,并给出可行的设计方案,最终复现实现过程。
1.5.2 论文组织结构安排
第一章:主要分析了课题的目标、背景和意义等知识。同时对比了传统数据库管理高光谱遥感数据与云平台上管理的异同,提出基于云平台的海量数据管理系统的历史必然性,并对高光谱图像处理、云计算及该领域的研究现状进行调研分析。
第二章:针对该课题所涉及的高光谱遥感相关知识及云计算领域的相关概念还有使用来构件系统的技术进行详细的分析介绍,包括我们构件系统所使用的框架和技术,探求本课题的可行性,为具体实现系统打下理论基础。
第三章:具体列出基于云平台的海量高光谱数据管理系统的设计方案,包括功能设计和数据库的设计。
第四章:介绍了本课题的具体实现,以图片方式展现一些实验结果,并对具体功能进行测试。
第五章:总结在实现课题程序中遇到的一些问题以及自己的解决历程,以及根据高光谱图像和云计算的发展趋势对本课题的后续研究做出展望。