您当前的位置:首页 >  国外相关动态 > 内容
对地观测大数据处理、挑战与思考
时间:2015-09-01  作者:  来源:地球观测资讯EOInfo              【复制地址】【打印】【关闭】

2015年初,《科学通报》发文:对地观测数据处理与服务面临“大数据时代”,围绕对地观测数据处理面临的“数据密集型计算”问题,提出亟需开展系统平台、处理算法和服务模式3个方面开展创新性的研究工作。

该文指出,21世纪以来, 以对地观测技术为核心的空间地球信息科技已经成为一个国家科技水平、经济实力和国家安全保障能力的综合体现。遥感技术、通讯技术及计算机技术的快速发展, 带来了对地观测数据的爆炸性增长和广泛应用。尤其随着高分辨率对地观测时代的到来, 通过机载和卫星传感器等不同途径获取的遥感数据正以每日太比特(TB, 1 TB=1024 GB)级的速度增长, 其中单个遥感图像数据集的数据量就可达几十吉比特(GB). 据统计, 单个数据应用中心将可提供数百个TB的遥感图像, 国家遥感数据存档量将达拍比特(PB, 1 PB= 1024 TB)级, 而全球的遥感数据量将达到艾比特(EB, 1 EB=1024 PB)级。然而,海量遥感数据有待及时、有效地处理与分析。

  • 对地观测领域进入大数据时代

自1964年8月28日发射第一颗对地观测卫星Nimbus以来,到2011年12月全球共发射了514颗对地观测卫星。欧洲太空局以遥感卫星1号、2号以及环境卫星等而立足于世界对地观测技术前列;法国的高分辨率SPOT卫星系列在世界对地观测领域占据一席之地;加拿大则以雷达卫星系列为其对地观测技术的特色发展战略;日本制定了未来对地观测基本策略,并给出了未来卫星研制和发射计划日程;发展中国家印度也非常重视对地观测技术的发展,其成就已经引起世界广泛关注。

政府间对地观测协调组织已于2005年2月16日正式成立。 2014年1月15~17日,GEO在瑞士日内瓦召开了第10次全会和第三次部长级峰会。会议一致认为要继续推动《GEOSS十年执行计划》的实施. 此计划致力于提高全球人类的生活质量。目标是建立一个综合、协调和持续的全球综合地球观测系统, 同时在灾害、健康、能源、气候、天气、水、生态系统、农业和生物多样性等9个社会发展领域开展应用和信息服务,为各国决策者提供从初始观测数据到专门产品的信息服务。1986年中国遥感卫星地面站的建立标志着中国的遥感应用进入了新的纪元。 在过去的30年间,中国遥感卫星地面站先后接收了包括Landsat、SPOT、JERS、 Radarsat、ERS、Envisat、CBERS、HJ、ZY和GF等国内外系列卫星数据,截止2013年存档各类对地观测卫星数据资料达330余万景,是我国最大的陆地观测卫星数据历史档案库。

特别是我国陆地观测卫星数据全国接收站网建成以后,密云、喀什和三亚3个接收站实现了覆盖我国全部领土和亚洲70%陆地区域卫星数据的接收。正在建设的极地站将进一步扩展我国卫星数据的接收范围。另外,气象和海洋等卫星系列也为人类认知地球提供了时空动态数据。近年来,随着城市地理信息系统发展和新一代高分辨率卫星系统相继投入应用,数据的年增量加速提高,每年约递增30~50 TB。“十二五”期间,我国计划发射5~6颗地球观测卫星,建成高空间分辨率、高时间分辨率和高光谱分辨率的对地观测系统,数据量将大幅增加。作为高分辨率对地观测系统的首发星,高分一号卫星突破了高空间分辨率、多光谱与宽覆盖相结合的光学遥感等关键技术,分辨率可达2m,经过相机多角度视场拼接,优于16 m分辨率的视场可达800 km以上,4天即可完成一次重访,在分辨率和幅宽的综合指标上达到了目前国内外民用光学遥感卫星的领先水平而2012年升空的ZY-3卫星,每天获取的数据量就在10TB以上。到2020年,高分系统与其他观测手段相结合,将形成具有时空协调、全天时、全天候和全球范围观测能力的稳定运行系统。

可以说对地观测领域已经正式步入了大数据时代。

  • 对地观测大数据处理与服务面临的挑战

由于对地观测大数据具有鲜明的大数据“4V”特征,即海量、多源、多时相和高价值等特定。表现出异构、多尺度和非平稳等特征。一个全流程的对地观测数据处理过程涉及从数据接收和记录、数据传输、数据预处理(辐射校正、系统几何校正)、深加工处理(精校正、正射校正、图像融合、图像变换)、数据产品存档与发布、信息提取与参数反演、以及专题应用(资源环境调查、灾害监测、全球变化)等多个环节。


从图可以看出, 在整个对地观测数据处理流程中, 卫星数据在接收、记录和传输阶段基本具备实时处理能力, 因为其处理速度与卫星下行码速率基本一致. 但是, 在数据预处理、深加工处理、信息提取以及专题应用等环节中, 其数据吞吐速率直线下降, 只有卫星下行码速率的1%~30%. 因此, 后续的数据处理环节无法满足实时的数据处理需求. 而且, 越往后的数据处理环节, 其数据吞吐速率也越低。

论文强调,由于原始数据销售的利润越来越低,世界卫星运营商已调整其发展战略以适应这种形势, 即把增值服务作为获取新的利润增长点的一个最重要战略加以重视和发展。法国SPOTImage把“大力发展经加工处理的‘增值产品’和归档的、可多次销售的现成品”作为提高竞争力和获取利润的手段之一。Digital Global在不同的场合宣传自己“不仅仅是卫星数据提供商,同时也是信息的服务商”。增值服务已成为相关遥感机构关注的焦点,也将成为其获取利润的有效举措。实际上, 行业应用也对遥感数据增值产品有广泛的需求。

文中也提到,正如Frost & Sullivan公司2011年发布的“亚太地区卫星对地观测市场”研究报告中指出的那样: 遥感市场的未来依赖于增值服务,该领域的竞争非常激烈。到2020年, 卫星图像作为一种商品, 从卫星图像提取有用信息的增值服务将决定商品的价值。对于相关企业来说, 未来发展的方向将是从卫星图像供应商转变为信息服务商。

  • 对地观测大数据处理与服务的思考

针对上述问题, 对地观测大数据处理应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作。

对地观测数据体量大、算法复杂度高、实时处理需求的特点, 需要开展高性能对地观测数据处理软、硬件平台的研究。同时必须注意到, 对地观测大数据来源不仅仅是单一的空间传感器, 地面观测、互联网和社交媒体等成为对地观测数据的重要来源。对于多源、高维、异质和复杂关联的对地观测数据, 需要开展新型智能处理算法与处理模式的研究。

应重点研究遥感数据产品标准化、系列化的指标体系与分类体系, 主动服务、智能服务、一站式服务的理论、方法与技术, 有针对性地提高对地观测大数据处理与产品生产的能力, 提高遥感数据产品服务的效率。重视对地观测技术与其他地理信息技术、互联网技术、物联网以及云计算技术等高新技术的深度融合, 综合利用卫星、航空、地面乃至大众观测数据, 形成新的信息服务模式和产业链。

 


Copyright©1997-2009 中国地质调查局深部探测专项管理办公室 中国地质科学院 版权所有 备案序号:京ICP备05029128

地址:北京市西城区百万庄大街26号 邮政编码:100037