大数据环境下卫星对地观测数据集成系统的关键技术(3)
4. 3 影像处理及数据质量评价
由于遥感平台运动、地球自传等因素影响,卫星遥感对地观测所获得的影像会在几何上产生形变、在灰度上产生衰减。为了能从对地观测数据中精确提取所需地理空间信息,必须对获取的遥感影像进行影像处理,因此开发影像处理算法,包括遥感影像精确几何纠正算法和辐射校正算法,同时建立卫星数据质量评价体系。
5 卫星遥感大数据深度分析与地学知识发现技术
在数据量增大、信息提取精度高等需求下,从对地观测数据和时空信息中发现地学知识,需要解决海量遥感数据深度分析的新模式问题。目前,以Hadoop-MapReduce 为代表的非关系数据分析技术,以其适合非结构化数据处理、大规模并行处理等突出优势,在海量数据存储与分析应用领域中取得了重大进展,已成为大数据分析的主流技术。尽管如此,Hadoop 在应用性能等方面仍存在问题,其编程模型处于较低层次。针对不同数据分析任务,需要开发不同MapReduce 程序进行处理,使系统具有高扩展性大数据分析能力。在进行海量卫星遥感数据深度分析与地学知识发现时,可建立反映地面参数时空变化信息及其关联的卫星图像数据仓库,开发基于Hadoop 的高扩展性数据分析算法以及统一框架的时空分析具体任务,包括聚类、关联、分类、时序分析、不确定性挖掘以及知识表达与解释。
5. 1 卫星图像数据仓库
从应用深度上,可将遥感大数据分析划分为3个层次空间,即: ①数据空间。在该空间上利用现有数据库管理系统的查询检索功能,进行基于关键字或字段的信息查询,实现联机事务处理。②聚合空间。从时空数据集中获取满足空间与时间约束的时空对象集合,在该空间上利用聚集运算,并结合多维分析和统计分析,实现联机分析处理,以提供决策参考的统计分析。③影响空间。按照相似性的聚类,发现关联性、相似时序、分类结构以及不确定性知识等。按照这种层次空间建立卫星图像数据仓库,并从数据仓库中发现隐含的有用信息。
5. 2 基于Hadoop 的高扩展性数据分析算法
针对大数据计算模式和处理环境,利用Hadoop[30],并结合MapReduce 编程模型,可采用一种基于数据本地化计算的数据分析技术[31, 32],包括数据分布策略和数据挖掘算法2 个方面。
数据分布策略将逻辑相关数据聚集存储在相同节点上,对其特定属性进行哈希操作,使得属于同一哈希分区的数据以及属于不同数据表但具有相同哈希分区序号的数据能够集中存放在同一节点上。哈希技术将数据表在机群上进行分布,以分区作为处理单位,分析算法只需执行Map 任务,进行分析处理并直接完成结果输出,从而可以避免Reduce 操作带来的巨大时间开销,大幅度提升连接查询与分析处理的效率。
然后在MapReduce 上开发增量式模式挖掘快速算法,针对对地观测系统在时间粒度、空间尺度、语义层次上的时空聚类、时空关联等特征,通过遥感卫星数据的时空分析,提取面向不同时空知识类型与形式的高层时空模式,建立聚类、关联、时序、分类、不确定性等挖掘为一体的统一模式知识发现体系框架,实现高效的模式分析与挖掘以及知识表达解释。
6 基于共享知识库的多数据中心协同处理及云平台技术
对地观测活动的最终目标是以满足用户需求为导向,为不同应用需求的用户提供有价值的卫星数据产品和信息资源。因此,通过建立分布式多中心计算环境,实现海量卫星数据分布式存储与共享,使用户能从不同节点方便地获取所需数据、并能直接获得数据分析与知识发现中有价值信息。实现该目标的关键在于建立共享知识库、多中心协同计算以及分布式高性能的卫星图像数据管理与归档。
6. 1 共享知识库
通过卫星数据管理中心主节点的一级知识目录( 即共享知识库) 及操作工具,从宏观上引导用户使用所发现的信息。同时通过常驻在各个分节点上的二级知识目录,提供详细信息的线索,使用户能进一步了解信息,确定需要获取的信息内容、获取途径和方法,并支持通过网络传输查询结果。对内部用户,通过知识目录及操作工具,既可查询检索其他站点的信息,也可维护管理自己的知识目录。对外部用户,通过知识目录及其浏览工具发现信息、概略或详细地了解信息,并通过适当途径获取信息。同时信息共享知识实施还应包括提供使用卫星数据服务界面的详细描述。
6. 2 多中心协同计算
通过构建分布式多中心计算环境,开发算法实现有效地调度计算资源以及跨异构系统高性能计算,将独立的或大量松散绑定的数据处理任务动态地分配给闲置计算资源,实现动态资源调度及任务分配。
6. 3 分布式高性能卫星遥感信息归档云平台
遥感信息的应用需要为各类需求用户提供一个基础平台。运用云计算模式[33],借助云平台先进的基础架构与管理方式,构建有效的遥感信息公共服务平台,提供权限管理、遥感图像智能化搜索、图像资源浏览、结果获取、订单处理及反馈等基本功能。利用高性能处理终端集群[34]可在遥感数据处理中建立云平台来处理卫星遥感数据,证明云计算模式具有较好的应用潜力。
云平台的构建包括3 个不同任务,即虚拟化、平台搭建以及服务提供[35]。其中,虚拟化是整个云平台构建的基础,在此基础上,平台搭建实现对信息资源以及相应虚拟化资源的调度和管理,服务提供则将相应信息资源转化为服务。采用虚拟化软件( 如Vmware,Virtual PC 等) 在虚拟服务器和底层硬件之间建立一个抽象层,然后将卫星遥感相关应用模块迁移到虚拟层上,不同应用模块共享底层硬件计算和存储资源。在建设时,服务器、存储设备以及应用程序等通过虚拟化软件整合成统一资源,动态地给各个应用系统按需分配资源,实现应用的动态迁移。
平台搭建具体包括搭建公共云、业务云和支撑云3个平台,对相应信息和数据资源等进行整合。其中,公共云将可供公共使用的数据和信息以及其他相应资源放在该平台上; 业务云为数据中心内部各个业务部门的相互连通而搭建; 支撑云为公众云和业务云的搭建和运行提供资源和技术层面的支持。服务提供使所建云平台向不同的集成系统提供丰富的云端服务。通过分布式高性能卫星遥感信息归档云平台,为用户提供能进入数据分析、知识查询的专用入口。
7 结语
本文提出大数据环境下卫星对地观测数据集成系统建立与应用中亟待解决的关键技术,包括大容量对地观测数据的存储优化技术、基于网格的遥感图像快速处理技术、海量卫星遥感图像数据的深度分析与地学知识发现技术、基于共享知识库的多数据中心协同处理及归档技术。通过这些关键技术建立卫星对地观测数据集成系统,实现集成卫星图像、地面观测数据和模拟模型的元数据管理、几何精度纠正和卫星数据质量评价、海量卫星图像数据的空间分析与知识发现、分布式高性能卫星图像数据管理和归档系统等基本功能,能够为解决海量卫星数据分布式存储与计算、数据集成与互操作、空间数据分析与地学知识发现这些问题提供新思路、新技术与新方法。
期刊库(http://www.zgqkk.com),是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导,寻求投稿辅导合作,快速投稿辅导,投稿辅导格式指导等解决方案:省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。
【免责声明】本文仅代表作者本人观点,与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。
投稿辅导服务咨询与期刊合作加盟
陆老师联系QQ:
蒋老师联系QQ:
刘老师联系QQ:
联系电话:18015016272
17327192284
投稿辅导投稿邮箱:zgqkk365@126.com
期刊推荐
- 《校园英语》旬刊 省级 教育类学术期刊
- 《吉林教育》旬刊 省级 教育类学术期刊
- 《文教资料》 旬刊 省级
- 《科技风》半月刊 省级 科技类优秀期刊
- 《价值工程》旬刊 国家级 科技统计源期刊
- 《中国实验方剂学杂志》 半月刊 北大核心
- 《电影评介》半月刊 14版北大核心
- 《社科纵横》季刊 社科类优秀期刊
- 《求索》月刊 14版北大核心期刊
- 《中华建设》月刊 国家级 建设类优秀期刊
- 《继续教育研究》月刊 北大核心期刊
- 《网络空间安全》(信息安全与技术)月刊 国
- 《新闻传播》月刊 省级 新闻类优秀期刊
- 《财会月刊》旬刊 14版北大核心
- 《体育文化导刊》月刊 体育类双核心期刊
- 《机械研究与应用》双月刊 省级 机械应用类
- 《公路交通科技》 月刊 北大核心
- 《教学与管理》旬刊 北大核心
- 《新课程研究》旬刊 省级 教育类优秀学术期
- 《中国医药指南》 旬刊 国家级
- 《高教论坛》 月刊 省级
- 《课程教育研究》 旬刊 国家级
- 《语文建设》 旬刊 14版北大核心
- 《教育发展研究》 半月刊 双核心
- 《学术界》 月刊 双核心


