大量地球观测图像处理.pdf

上传人:1520****312 文档编号:971002 上传时间:2018-03-22 格式:PDF 页数:31 大小:1.36MB
返回 下载 相关 举报
摘要
申请专利号:

CN200910003173.8

申请日:

2009.01.08

公开号:

CN101493829A

公开日:

2009.07.29

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20090108|||公开

IPC分类号:

G06F17/30

主分类号:

G06F17/30

申请人:

PCI地球空间信息有限公司

发明人:

罗伯特·摩西; 大卫·斯坦利; 路易斯·贝里; 理查德·波洛克

地址:

加拿大安大略湖

优先权:

2008.1.8 CA 2,617,119

专利代理机构:

北京德琦知识产权代理有限公司

代理人:

罗正云;王 琦

PDF下载: PDF下载
内容摘要

本发明涉及大量地球观测图像处理。本发明涉及数据处理,更具体地说,涉及用于处理大量地球观测图像数据的方法和系统。描述了一种用于处理大量地球观测成像数据的系统,包括:包括视觉显示器和用户接口的计算机、多个计算服务器、将地球观测成像数据存储为多个独立的图像数据文件的图像数据库和用于使计算机、多个服务器和图像数据库互相连接的网络。所述多个服务器以可操作的方式分布式处理所述独立的数据文件;所述多个计算服务器中的至少一个以可操作的方式在多处理环境中处理所述独立的数据文件;并且所述多个计算服务器中的至少一个以可操作的方式将处理后的独立的数据文件整理为单个成像结果。

权利要求书

1、  一种用于处理大量地球观测成像数据的系统,包括:
包括视觉显示器和用户接口的计算机;
多个计算服务器;
图像数据库,用于将所述地球观测成像数据存储为多个独立的图像数据文件;
网络,用于使所述计算机、所述多个计算服务器和所述图像数据库互相连接;
所述多个计算服务器以可操作的方式分布式处理所述独立的数据文件;
所述多个计算服务器中的至少一个以可操作的方式在多处理环境中处理所述独立的数据文件;并且
所述多个计算服务器中的至少一个以可操作的方式将处理后的独立的数据文件整理为单个成像结果。

2、
  根据权利要求1所述的系统,进一步包括用于存储待施行的任务的列表的中央任务数据库,所述任务定义待施行的处理,并且所述多个计算服务器以可操作的方式从所述列表中请求任务。

3、
  根据权利要求2所述的系统,其中所述中央任务数据库进一步以可操作的方式存储任务状态、历史数据和元数据,所述多个计算服务器以可操作的方式向所述中央任务数据库发送任务状态、历史数据和元数据。

4、
  根据权利要求3所述的系统,其中所述中央任务数据库包括关系数据库。

5、
  根据权利要求2所述的系统,其中所述多个计算服务器以可操作的方式在它们有能力时从所述列表中请求任务。

6、
  根据权利要求5所述的系统,其中所述多个计算服务器以可操作的方式在特定的指定时期从所述列表中请求任务。

7、
  根据权利要求5所述的系统,其中所述多个计算服务器中的每一个都包括指定可运行的任务的数目的配置文件。

8、
  根据权利要求2所述的系统,其中所述任务包括脚本。

9、
  根据权利要求8所述的系统,其中所述脚本调用所存储的具有标准应用程序编程接口(API)的处理模块。

10、
  根据权利要求9所述的系统,进一步包括接口生成器,该接口生成器以可操作的方式将所述API和文档翻译为采用期望的脚本语言的细节和语法,以允许从用不同语言编写的脚本中调用处理模块。

11、
  根据权利要求9所述的系统,其中所述处理模块以可操作的方式从本地文件、数据库、存储对象或Web服务中接收输入数据。

12、
  根据权利要求1所述的系统,其中所述网络包括局域网(LAN),并且所述多个计算服务器中的至少一个可通过所述LAN来访问。

13、
  根据权利要求1所述的系统,其中所述网络包括因特网,并且所述多个计算服务器中的至少一个可通过所述因特网来访问。

14、
  根据权利要求1所述的系统,其中所述多个计算服务器中的至少一个以可操作的方式使用专用的内部硬件来处理所述独立的数据文件。

15、
  根据权利要求14所述的系统,其中所述专用的内部硬件选自由多个CPU、一个以上图形处理单元(GPU)或单元处理器构成的组。

16、
  根据权利要求14所述的系统,其中所述多个计算服务器中的至少一个以可操作的方式使用均衡多处理(SMP)来处理所述独立的数据文件。

17、
  根据权利要求1所述的系统,其中所述图像数据库包括并行虚拟文件系统(PVFS)。

18、
  一种用于处理大量地球观测成像数据的方法,包括以下步骤:
将所述地球观测成像数据作为多个独立的图像数据文件存储在图像数据库中;
在多个计算服务器中分布式处理所述独立的数据文件,所述多个计算服务器和所述图像数据库通过网络互相连接;
所述多个计算服务器中的至少一个使用多处理来处理所述独立的数据文件;
在所述多个计算服务器之一上将处理后的独立的数据文件整理为单个成像结果;和
通过包括视觉显示器和用户接口的计算机与所述单个成像结果交互。

19、
  根据权利要求18所述的方法,进一步包括以下步骤:
在中央任务数据库中存储待施行的任务的列表,所述任务定义待施行的处理;和
所述多个计算服务器从所述列表中请求任务。

20、
  根据权利要求19所述的方法,进一步包括以下步骤:
所述多个计算服务器向所述中央任务数据库发送任务状态、历史数据和元数据;和
所述中央任务数据库存储所接收的任务状态、历史数据和元数据。

21、
  根据权利要求20所述的方法,其中所述中央任务数据库包括关系数据库。

22、
  根据权利要求20所述的方法,其中所述多个计算服务器从所述列表中请求任务的步骤包括所述多个计算服务器在它们有能力时从所述列表中请求任务的步骤。

23、
  根据权利要求22所述的方法,其中所述多个计算服务器从所述列表中请求任务的步骤包括所述多个计算服务器在特定的指定时期从所述列表中请求任务的步骤。

24、
  根据权利要求22所述的方法,进一步包括所述多个计算服务器在确定它们有能力时,查阅指定可运行的任务的数目的配置文件。

25、
  根据权利要求19所述的方法,其中所述任务包括脚本。

26、
  根据权利要求25所述的方法,进一步包括所述脚本调用所存储的具有标准应用程序编程接口(API)的处理模块的步骤。

27、
  根据权利要求26所述的方法,进一步包括接口生成器以可操作的方式将所述API和文档翻译为采用期望的脚本语言的细节和语法,以允许从用不同语言编写的脚本中调用处理模块的步骤。

28、
  根据权利要求26所述的方法,进一步包括所述处理模块从本地文件、数据库、存储对象或Web服务中获取输入数据的步骤。

29、
  根据权利要求18所述的方法,其中所述网络包括局域网(LAN),并且所述多个计算服务器中的至少一个可通过所述LAN来访问。

30、
  根据权利要求18所述的方法,其中所述网络包括因特网,并且所述多个计算服务器中的至少一个可通过所述因特网来访问。

31、
  根据权利要求18所述的方法,进一步包括所述多个计算服务器中的至少一个使用专用的内部硬件来处理所述独立的数据文件的步骤。

32、
  根据权利要求30所述的方法,其中所述专用的内部硬件包括选自由多个CPU、图形处理单元(GPU)或单元处理器构成的组中的至少一个。

33、
  根据权利要求30所述的方法,其中所述使用多处理来处理所述独立的数据文件的步骤包括使用均衡多处理(SMP)来处理的步骤。

34、
  根据权利要求18所述的方法,其中所述图像数据库包括并行虚拟文件系统(PVFS)。

35、
  根据权利要求18所述的方法,其中所述处理包括图像分类,并且所述分布式处理所述独立的数据文件的步骤包括,在所述多个计算服务器中的每一个上施行不同的分类方法的步骤。

36、
  根据权利要求35所述的方法,其中所述整理的步骤包括执行投票方案以从所述不同的分类方法中选择一种分类方法的输出作为最优结果的步骤。

37、
  根据权利要求1所述的方法,其中通过所述多个计算服务器中的每一个分布式处理所述独立的数据文件并施行不同的分类方法,来施行图像分类。

38、
  根据权利要求37所述的方法,其中所述多个计算服务器中的至少一个以可操作的方式整理处理后的独立的数据文件,以可操作的方式执行投票方案以从所述不同的分类方法中选择一种分类方法的输出作为最优结果。

说明书

大量地球观测图像处理
技术领域
本发明涉及数据处理,具体来说涉及对大量地球观测图像数据进行处理的方法和系统。
背景技术
地球观测图像数据已经被采集并分析了几十年,并且是很多自然资源管理、地质和矿物勘探、农业管理、环境监测和航空地图绘制系统的基本部分,仅列举出几个应用程序。无论数据是从人造卫星、航空检测还是其它系统中获取的,也无论数据是由摄影测量法、超光谱(hyperspectral)、多时间(multitemporal)、光学、热学或微波(和其它类似系统)数据中的全部还是其组合组成,分析时存在的问题大都相同:必须迅速并准确地处理大量数据且没有失真。
例如,远程检测是在局部、区域性或全球范围内管理和监测环境的重要工具。对监测濒危物种的栖息地、预测洪水模式(flood pattern)和评估珊瑚礁环境的健康状况的需要从来不曾如此强烈。为了处理日益复杂的web对我们的生态系统的影响,现在的环境管理者(stakeholder)要求知道当前的信息、新的分析技术和对新式传感器的支持。这些系统通常需要集成来自各种源的数据集合,并应用最优实践的分析手段,包括例如数据融合、光谱和空间分析、分类、专题地图绘制和与地理信息系统(GIS)的集成。
因此需要一种高效、准确地处理大量地球观测图像数据且具有将若干种不同的数据系统集成在一起的能力的改进方法和系统。
发明内容
本发明的目的在于提供一种用于处理大量地球观测影象数据的改进的方法和系统,其避免或减轻了上述缺点中的至少一个。
描述了一种用于处理大量地球观测数据(尤其是影象)的体系方案,其中地球观测数据涉及若干个数据和密集型计算的处理步骤。处理请求可以通过若干种机制来做出,这些机制包括开放GIS协会(OGC)web处理服务请求或通过若干种机制调度的任务和分配的结果,所述若干种机制例如在其它应用程序可访问的数据库中存储、作为电子邮件附件转发或OGC兼容web覆盖服务器。OGC为数据的输入、输出和存储的格式化建立了标准,这允许不同系统互通,当然也可以使用任意标准或私有的格式化。
该体系混合了网格(分布式)计算和多处理,以使用任意数目的计算服务器来针对高吞吐量实现动态灵活的系统。该系统允许基于Windows的计算服务器和基于Linux的计算服务器混合在一起,并且无需修改就可以在典型的联网环境中容易地实现;也就是说,诸多网格或分布式系统具有经过修改的操作系统和/或硬件,并且专用于少数特定的任务,而这里所描述的系统可以使用简单的客户端在通用计算机或服务器上操作。服务器可以在能力(速度或CPU数目)上有所不同,并且可以利用可能在一些服务器上可用的专用处理硬件(例如单元处理器或图形处理单元)来进一步提高吞吐量。使用任务控制系统来允许由使用分布式处理(在服务器之间)和多处理(在服务器内)自动进行负载平衡的系统同时运行多个任务。这由该系统的总体体系来部分地实现-该系统提供待施行的任务的列表,并且计算服务器在它们有能力时主动请求任务,而不是具有尝试以平均方式分配任务的中央控制系统。
为了对付所需要的大容量数据吞吐量,该体系利用分布在计算服务器上的虚拟并行文件系统或接受连接至地球观测数据的档案库的远程连接或网页服务的数据库管理系统(DBMS)。
以诸如但不限于Python、JAVA、C#或C++之类的合适的计算机语言来实现处理任务脚本,脚本将施行实际工作的处理模块(PCI可插入功能)链接在一起。任务是提前编译(例如C++)还是在运行时解释(例如Python)取决于所选的语言。在优选实施例中,使用多种不同的脚本语言。在某些情况下,特定的脚本语言完全会更简便或更合适。选择合适的语言中的主要考虑之一在于,与该任务所通信的相关软件的兼容性。例如,如果任务需要与用C++编写的第三方应用程序进行通信,则最简单的方式可能是用C++来编写该任务。该系统体系的优点是可以容易地适应各种脚本语言。
处理模块具有标准化应用程序接口,并且参数的类型有所限制。这允许处理模块的应用程序编程接口(API)和相关的程序员文档针对不同的计算机语言和编程环境而自动生成。也就是说,为各种语言编写了翻译器或“接口生成器”。根据标准的API,技术人员可以简单地运行合适的接口生成器来将API和文档翻译为期望的语言的细节和语法。通过实现允许从用不同语言(例如Python、JAVA、C#或C++)编写的处理任务调用同一模块的新的接口生成器,来适应新的计算机语言。
在期望的情况下,可以编写单独的处理模块来探测并利用计算服务器上可用的专用硬件,例如多个CPU、图形处理单元(GPU)或单元服务器,以增强性能。
当运行处理任务时,每个处理步骤的输入和动作都存档在中央任务数据库中。该记录变为用于得到结果的审计历史(元数据),并且通常以依附ISO19139标准的XML形式或通过OGC目录服务而可选地与最终结果一起传送。该元数据允许每个用户检查每个产物如何被传送,并且允许在将来任意原始输入数据被修改(例如-如果更准确的高程模型变得可用)或处理步骤之一被更准确地实施的情况下对需要重新生成的结果进行识别。
在该体系的上下文中,对两个处理例子,即图像校正/镶嵌和图像特性提取进行描述。
发明内容并不必须描述本发明的所有特征。
附图说明
本发明的前述或其它特征和优点将从以下如附图所示的对本发明示例性实施例的更具体描述中变得显而易见。在附图中,相同的附图标记始终指代相同的、功能相似的和/或结构相似的元件。以下在下列附图的详细描述中讨论优选的示例性实施例:
图1给出根据本发明实施例的示例性客户端应用程序和处理模块的执行的流程图;
图2给出根据本发明实施例的系统概览的方框图;
表1给出可用的处理模块的示例性列表;
图3给出根据本发明实施例的总的处理系统的方法的流程图;
图4给出根据本发明实施例的正射校正和镶嵌方法的流程图;
图5给出根据本发明实施例的执行分割线和色彩平衡的方法的流程图;和
图6给出根据本发明实施例的图像分类的方法的流程图;
图7给出根据本发明实施例的图像特征提取投票的方法的流程图。
具体实施方式
本发明将通过以下例子进一步图示说明。
并行体系架构
使用合并了以下两级并行操作的处理软件体系:在单独的计算服务器上对单独的图像进行分布式处理,同时在每个单独的计算服务器上处理模块利用可用的硬件来快速处理图像。如果多核处理器可用的话,则相应的计算服务器上的处理可以包括并行操作,如果可用的话,使用图形处理单元(GPU)或单元宽带引擎处理器。在题目为“处理模块”的章节中提供对处理模块如何利用特定的计算服务器上可用的硬件的详细描述。
处理体系被设计为在无需修改操作系统就能在多机种网络中工作(例如既使用Windows服务器又使用Linux服务器)。正如以上所提及的,这与许多现有的固定用于或专用于有限数目的处理任务的系统相反。小型任务控制应用程序被安装在各个计算服务器215上,用于监测待处理的任务请求并在该计算服务器215上启动任务。任务控制应用程序被配置为例如仅使用计算服务器215上的可用资源的一部分或仅在特定的时期使用计算服务器215。这允许通过最小的修改在计算机的现有网络上进行处理,并且该处理体系可以与其它应用程序共存。例如Oracle或PostgreSQL的数据库可用作在网络中的计算服务器215上运行的所有任务控制应用程序的中央通信和协调机制。当各个独立运行的任务控制应用程序启动任务、接受任务的完成、探测到任务失败或采集任务上的元数据时,这些信息都在中央任务数据库210中被更新。在任何时候都可以对中央任务数据库210进行查询,以获取关于特定任务的状态及其核查历史的信息。
该体系允许多个(和/或不同的)处理任务同时运行。在各个计算服务器215上,小的配置文件告诉各个任务控制应用程序可以在该计算服务器215上运行的任务的数量。例如,如果特定的计算服务器215具有四个CPU,则可以同时运行三个任务,而另一个仅有一个CPU的计算服务器215可能被配置为同时运行两个任务。这允许每个计算服务器215可能具有不同数目的CPU和自动阻止计算服务器215过载的任务控制应用程序。由于计算服务器215被阻止过载,因此计算服务器215之间出现固有的负载平衡。在特定的计算服务器215内,任务在使用现有的作为Windows或Linux OS一部分的平衡多处理能力的CPU之间被自动地平衡负载。另外,小的配置文件提供了关于什么时候允许计算服务器215接受任务的信息。例如,用户的桌面电脑可在正常的办公时间之后的8pm与5am之间用作计算服务器215。任务控制应用程序周期性地检查看小的配置文件是否已被修改,如果是则重新对其进行读取,以获取更新后的配置信息。这允许对任务控制应用程序进行动态的重新配置,从而允许对整个分布式计算环境进行动态的重新配置。各个计算服务器215的配置文件由系统管理员在计算服务器215被加入系统中时基于特定计算服务器215的能力来提供。
图1给出用于实施客户端任务控制应用程序的示例性流程图。典型地,每个计算服务器215仅有一个任务控制应用程序被发起。当任务控制应用程序被发起时,其首先检查配置文件105,以确定可以运行多少个任务以及对任务的任何限制。保持对正在运行的任务的计数,并且当正在运行的任务完成110时,递减计数115。如果该计数是或超出任务的最大数目,则当然不允许另外的任务运行,并且处理返回到该例程的开始。如果该计数没有超出最大数目120,则任务控制应用程序/调度程序会查询中央任务数据库210,以确定是否有任务可用于运行125,其中在中央任务数据库210中,任务排队等候执行。如果没有任务可用,则控制返回到该例程的开始,否则该例程将从中央任务数据库210获取关于计算服务器215可施行的一个以上任务的信息和参数130。
当一个任务即将被运行(例如脚本)时,其通常作为计算服务器215上的独立进程被发起,并且正在运行的任务的计数会加一135。然后,中央任务数据库210会针对正被启动且运行的任务而被更新140,并且控制返回到例程的开始105。
每个任务会作为给定计算服务器215上的独立进程被发起,因此在单个服务器上可能会有几个任务同时运行。当每个任务脚本被启动145时,其利用操作系统的任意多处理能力的优势,调用访问图像数据和相关数据的处理模块150。还进行查询以确定图形处理单元(GPU)、多核和/或单元处理器是否可用。当任务被运行时,处理后的图像数据被存储在图像数据库(或VPFS)中155。处理历史数据和/或元数据也被发送给中央任务数据库,以更新该任务状态。
当在步骤110处进行“正在运行的任务完成?”的查询时,计算服务器215会识别出该任务已完成,那么计算服务器215可以自由地请求另外的任务。
由于对数据库和数据文件的透明访问是大多数网络的操作中所固有的,因此计算服务器215可以位于网络上的任何位置,或者本地(例如企业内部互联网)或者因特网。例如,可以在本地网络的计算服务器215上连同从一个以上第三方租用的远程计算服务器215上同时进行处理。
数据管理和优化
对大量影象进行处理时的主要问题在于数据吞吐量和对图像位置的管理以最小化网络通信量。该处理体系优选使用数据库来存储和管理数据,或使用使各个计算服务器上的本地文件系统看起来是一个全局文件系统的并行虚拟文件系统(PVFS)。
如果使用PFVS,则各个计算服务器215可以是PFVS的部分。数据在PFVS上的随机分布有助于平衡总体网络通信量和磁盘访问。虽然该方法不能保证使网络通信量最小,但是平均来说可以提供良好的性能并去除了尝试直接优化数据访问所带来的复杂性,从而更易于开发用于创建新的产品的过程。
使用中央任务数据库210来保存与任务状态的运行和跟踪以及历史有关的信息,并且中央任务数据库210可被所有计算服务器215访问。中央任务数据库210通常使用提供记录锁定以管理并发访问的任意关系数据库来实现,例如PostgreSQL或Oracle。也可以使用定制的或私有数据库,尽管开发这样的系统需要大量的工作。中央任务数据库210通常独立于任何用于保存影象数据的数据库。
任务描述
可以使用诸如Python、JAVA、C#或C++之类的语言的脚本编写的任务,脚本调用一系列处理模块(PM)以获得输入数据(例如图像)、对其进行处理并创建新的输出产物。由于有多个不同的处理模块可用,因此可以创建很多不同种类的任务。
如图2的方框图所示,运行特定任务的请求205被放入中央任务数据库210的队列中。当计算服务器215变为可用(在图2中所示的网络上可能有若干个)时,其任务控制应用程序220查询中央任务数据库210以获知要运行的新任务。任务控制应用程序220使用相关联的配置文件来对任务进行调度,以供特定计算服务器运行。各个计算服务器215可以被配置有不同数目的CPU核,并且可以在计算服务器上添加诸如GPU或单元处理器之类的加速硬件。这些任务从图像数据库225、VPFS或经网页通过远程访问来访问图像数据。当任务已经被处理时,处理后的数据被返回相同的图像数据库225。计算服务器215还将状态、历史和元数据信息发回中央任务数据库210。
任务的脚本可以指示可以使用其它任务来独立进行部分处理。例如,对一百张图像进行正射校正然后将它们镶嵌在一起的任务会启动一百个小任务,每个小任务对单个图像进行正射校正。当这些任务完成时,原始的任务将它们镶嵌在一起。原始的任务可以通过将新的任务请求插入中央任务数据库210的队列中,然后对中央任务数据库210进行监测直到所请求的所有任务都完成为止,来启动这些“子”任务。由于在集群(cluster)中可能有很多计算服务器215,因此该机制允许在计算服务器215变为可用时,子任务在整个集群中自动散布。
处理模块
实际的数据处理由通常以C或C++编写的处理模块完成。系统可以由很多处理模块组成,例如对图像进行滤波的模块、采集图像地面控制点的模块、进行图像分类的模块或正射校正图像的模块。通过将不同的处理模块以脚本连在一起,可以创建很多种输出。在表1-处理模块列表中提供示例性模块的简短列表。这些表示在以下领域中对图像进行处理的典型模块:几何(和正射)校正、分类、分割、SAR和偏振SAR处理、滤波、高程处理和分水岭分析。当然,很多其它处理模块是已知的和/或可以被使用或开发。本发明不限制处理模块本身的特性。
该系统体系的上下文中的处理模块有三个期望属性:
1)在各种计算机语言(例如Python、JAVA或C++)中可用的一致应用程序界面;
2)处理模块自动利用运行于其上的计算服务器的可用硬件的能力;
3)在Windows和Linux两者中的可用性。
具有这些属性的模块意味着为特定处理任务(例如以Python)编写的脚本可以在Linux或Windows系统上运行,并且处理会自动最佳地利用底层硬件。例如,计算服务器215的集群可以既包括Linux服务器又包括Windows服务器,每个服务器具有不同数目的CPU核,一些甚至还有额外的硬件加速器,例如GPU或单元处理器。当在该集群上并行处理图像时,可以在所有的计算服务器215上使用相同的脚本,并且自动使用可以由可用的硬件来执行。
单独的处理模块可以在使用底层硬件来改善性能上使用不同的策略。例如,密集型浮点数(numerically floating point intensive)例程可以首先针对GPU进行检查,如果GPU不可用,则在多个CPU可用的情况下返回使用多个CPU进行并行操作。另一处理模块可以针对单元处理器进行检查,在单元处理器可用的情况下使用单元处理器,否则返回到单CPU,单一并行操作可能不是算法中所固有的。根据特定处理模块中正在实施的算法,采用不同的硬件优化策略。将代码行纳入处理模块中以进行这些检查并利用底层硬件所提供的效率是很简单的事情。
处理模块被编写为可以透明地接受各种数据输入源,包括:本地文件、网络文件、数据库、通过的存储数据结构或来自标准化web服务的数据。例如,进行正射校正的任务脚本可以具有能够从本地文件中获取高程数据并且在本地文件不可用的情况下返回使用提供整个行星的高程数据的web服务(虽然可能具有较低的质量和较慢的访问速度)的处理模块。
面向服务的体系
该体系优选使用面向服务的体系(SOA)来实现。也就是说,处理待运行的任务的请求者不需要知道关于系统的底层体系、分布式处理或用于实现任务和处理模块的计算机语言的任何内容。处理任务的请求还优选通过诸如开放GIS协会web处理服务或SOAP之类的标准协议被接受。
处理请求可以通过对现有的任务脚本进行参数设置保存在中央任务数据库210中,或者请求者可以直接提交将由系统运行的定制脚本(其使用系统中可用的处理模块)。脚本可以采用任何方式生成,例如脚本可以是使用GUI或向导编写的、定制的、先已存在的、通过电子邮件发送的等。
因此,总之,在图3的步骤305,脚本以某些方式生成,并且在中央任务数据库210中排队310。然后,可以通过调用处理模块的脚本在计算服务器215上执行315处理任务。这些处理模块从本地图像数据库225、VPFS中或通过web远程访问图像和相关数据,并返回处理后的数据以供存储320。计算服务器215还通过发送相关的元数据针对已经完成的工作来更新中央任务数据库210。
然后输出数据可以被显示、传输/存储在其它存储设备中和/或经历另外的处理。
使用该软件体系的处理例子
图像正射校正和镶嵌
在该例子中,需要将一千个卫星图像进行正射校正以使地球坐标更精确,然后将其镶嵌(结合)在一起形成覆盖极大区域的单个大的无缝图像。尽管图像正射校正是已知的技术,但是就在多机种网络的计算服务器(可能采用多核或专用硬件)上并行进行正射校正、连同从多个源获取地面控制点(GCP)和连接点(TP)以及计算色彩平衡和分割线的方法而言,整个例子是新颖的。
图2的方框图给出影响该处理的示例性系统,而图4给出示例性流程图。
该处理开始于从某些源例如从本地源或从通过web访问的地球观测数据出售档案文件中采集地球图像数据405。这些图像通常以数据文件的形式存储,其大小被保持在通常的计算机可实现的点之下。结果,通常可获取大量独立的文件以进行分析。然后所有这些图像被复制到诸如Oracle 10g或PVFS之类的数据库中。
图像被分布于可用的计算服务器上来获取地面控制(GCP)和交叠图像之间的连接点(TP)410。地面控制点可以使用已知技术从多个源中获得,所述多个源例如现有的正射校正后的影象、图像碎片数据库或由向量表示的地理编码特征(例如公路或湖泊多边形)。源或者可以对于网络来说是本地的,或者可以通过标准化web服务从数据卖主处来访问。连接点通过再次使用已知技术对交叠图像上的点进行匹配而获得。来自多个源的GCP被融合一起,以优化它们的准确性和它们在图像上的分布。所获得的各个图像的GCP和TP被存储在诸如图像数据库225之类的中央位置中。
在块模型计算中同时使用所有的GCP和TP,以使用已知技术为各个图像创建优化校正模型。然后利用作为各个图像的优化模型的结果,对于所有的块模型进行大型的单次计算(仍是已知计算)。优化模型对地面坐标进行校正并最小化交叠图像之间的误差。由于是大型的单次计算,因此在单个计算服务器上一起计算它们更加有效。GCP和TP被用作优化校正模型的输入,然后就不再使用。
然后使用已知算法对图像进行正射校正420,除非该任务被分布在所有可用的计算服务器215上。正射校正是对地形导致的失真的校正。
在每个计算服务器215中,从图像数据库或PVFS中请求原始数据,并且通过使用该特定计算服务器215上可用的任意多核或专用处理器(例如单元处理器或GPU)来对正射校正进行加速。为了减少数据开销,具有合理大小并且不在处理任务之间变化的信息(例如数字高程数据或DEM)被存储在各个计算服务器215本地。得到的正射校正后的图像被存储在图像数据库或PVFS中。
根据正射校正后的图像来计算分割线和色彩平衡425。这通常是在单个计算服务器215上进行的,如图4所示,原因在于需要同时考虑来自所有图像的所有信息。色彩平衡可以使用例如图5的流程图中所示的若干个步骤:
1)辐射测量归一化505,用于尝试使用已知物理属性,例如传感器校准和以阳光强度为基础的大气辐射校正最大值,来去除图像之间的大部分差异;
2)由统计方法(例如Thiel-Sen鲁棒回归),通过收集交叠区域中的图像之间的统计差异、消除异常(例如云和阴影)来去除剩余的色差510;然后
3)使用这些统计来进行块调节以最小化色差515。
然后将得到的色彩平衡的数据返回到图像数据库或PVFS中520。
计算分割线(即图像之间实际的接合线),以通过图像中的以下自然特征(例如河流或公路)来最小化明显的差别。执行这些计算的技术是已知的。色彩平衡结果和分割线被存储在图像数据库或PVFS中,以便下列步骤中的操作可以使用它们。
最后,基于分割线、色彩平衡和正射校正后的图像所生成的瓷砖块(mosaic tile)被分布在所有计算服务器上430。进行这些计算的技术是已知的。得到的瓷砖块被存储在图像数据库、PVFS中或直接存储在最终的传递位置或介质中。
图像特征提取
在该例子中,通过并行使用若干种不同的方法来对单个图像进行分类(解译),并且结果融合为单个最终结果,如图6所示。在该文件中描述的处理体系允许在合理的时间长度内同时运行多个不同的分类器,这允许采用新颖的密集型计算方法。
正如使用以上所述的图4的处理,该处理开始于从某些源例如从本地源或从通过web访问的地球观测数据卖主档案文件中采集地球图像数据605。这些图像被采集并作为若干个数据文件被存储在图像数据库225中。
然后在各个计算服务器215上启动不同的分类方法。候选的分类方法可以包括:最大似然分类、神经网络、最小距离、KNN或K-平均或依赖于具体情况或实施者的知识的其它分类方法。尽管各分类方法在不同的计算服务器215上运行,但是各个计算服务器215可以具有多个核,这些核可以并行地运行分类的部分。各种分类方法可以使用作为分类过程的部分在本地或通过网页获取的辅助数据的不同集合。各种分类的结果被存储在图像数据库225或PVFS中。
一旦所有的分类方法都完成,就使用创建最终结果的“投票”系统和知识规则创建单个解译615。图7的流程图给出进行该“投票”过程的示例性方法。当各种分类方法已完成705时,该系统使用知识规则将分类器限制为与当前的分析最相关的那些分类器,或给予较重要的分类器以较大的权重710。该步骤可以根据知识规则的种类而在投票步骤之前或之后进行。当然,可以应用若干个知识规则,一些在投票步骤之前应用,一些在投票步骤之后应用。例如,如果存在特定分类器对特定类别(例如水)具有极高的准确率的先前知识,则它可以在获得针对特定像素的结果时否决来自投票系统的结果(即在投票步骤之后应用该知识规则)。作为另一个例子,可以应用其它知识规则,例如农作物仅存在于已知的农场边界内,在这种情况下,投票可以被限制为适于农作物的已知方法(即在投票步骤之前应用该知识规则)。
然后,投票系统针对各个图像像素,对来自各个分类器的结果进行比较,并挑选最普遍的结果715。通过使用若干种不同的解译方法(没有一个在所有情况下都是最佳的),基于多种方法之间的加权合意(consensus),可以创建比任何单一方法更好的结果。
然后最优结果被存储720在图像数据库225中,并且可以采用某些方式显示或输出725,例如在具有视觉显示器和用户接口的个人计算上显示或输出。
结论
已经针对一个以上实施例对本发明进行了描述。然而,对本领域技术人员来说,可以在不脱离权利要求中所限定的范围的情况下进行各种变更和修改。例如:
1)计算服务器的网格可以由运行诸如UNIX(使用SUN、SGI或IBM处理器)而非基于英特尔的处理器之上的Windows或Linux的操作系统的系统组成;
2)可以通过诸如固态设备(例如基于RAM或Flash RAM)或存储区域网络设备而非虚拟并行文件系统或数据库的其它方法来实现高速存储器;
3)尽管黑色和白色或彩色影象数据是最经常使用的,但是本发明的范围包括任意光栅(raster)数据集合,包括:多光谱影象、超光谱影象,合成孔径雷达影象、偏振雷达成像器和空间光栅GIS信息;并且
4)地球观测影象源可以包括那些从空间或航空遥感传感器采集的源。
本发明的方法步骤可以实施为以诸如目标代码或源代码之类的各种格式存储的可执行机器代码的集合。这种代码在这里一般描述为编程代码或简称计算机程序。为清楚起见,可执行机器代码或代码的部分可以与其它程序的代码集成在一起,通过外部程序调用、以固件形式或通过本领域中已知的其它技术实现为子例程、插件程序、附加软件、软件代理。
本发明实施例可以由计算机处理器或以方法步骤的方式编程的类似器件来执行,也可以由提供有用于执行这些步骤的装置的电子系统来执行。类似地,诸如计算机磁盘、CD-Rom、随机存取存储器(RAM)、只读存储器(ROM)或本领域中已知的类似计算机软件存储介质之类的电子存储介质可以被编程为执行这样的方法步骤。而且,表示这些方法步骤的电子信号也可以通过通信网络来传输。
所有的引文通过引用合并于此。
名称        描述

  adem  aepipro  ARI  ATCOR3  ATCOR3_T  Autochip  Avg  cdeosat  cdirss  Cdland7  Cdlandb  Cdsar  Cdspot  Chipext  Chipmat  CIM  CLS  Context  CONTROUR  CSG  DECORR  DIM  DRAIN  Endmemb  EXPORT2KML  FAV  FED  Fefrost  Felee  FERODEH  FEXPORT  FFREQ  Ffrost  Fftmpoly  Fftmvec  FGA  Fgamma  FIMPORT  Fkuan  Fle  航空摄影自动DEM提取  航空摄影对极投影  图像通道算法  使用高程数据的大气校正  使用高程数据的表面温度  GCP采集的自动碎片匹配  无监督纹理分割  CD EOSAT快速格式  CD RIS上层结构格式  CD LANDSAT 7格式  CD ERS/PALSAR/RADARSAT LGSOWG格式  CD ERS/RADARSAT CCT格式  CD SPOTIMAGE SPOT格式  碎片提取  碎片匹配  创建图像数据库文件  集群定义分类  上下文分类  根据DEM生成等高线  分类器标记生成器  去相关拉伸  删除图像数据库文件  从高程数据中排除盆地  找出终端像元光谱组  导出到Google地球KML或KMZ  平均滤波器  边缘探测滤波器(达到33×33)  增强的霜冻滤波  增强的lee自适应滤波  腐蚀洞滤波器(达到1001×1001)  导出到外文文件  频域图像滤波器  霜冻自适应滤波  通过图像多边形匹配导出GCP  通过图像向量匹配导出GCP  高斯滤波器(达到33×33)  伽玛映射滤波  导入外文文件  Kuan滤波  Lee自适应滤波

表1A
名称    描述
  FME  FMO  FPAR  FPR  FPRE  FRD2P  FSHARP  FSOBEL  Fspec  FTF  FTI  Fusion  Fuz  FUZCLUS  GCII  GCIM  Gcpelev GCP  Gcppro GCP  Gcprefn GCP  Genclut  Genrlut  GRDINT  GRDPNT  GRDPOL  HIS  Histex  HMM  HOM  HSG  I2sp  Idint  IHS  IIIbit  Imerge  IND  IPG  ISOCLUS 中值滤波(达到7×7) 模式滤波(达到7×7) 光合有效辐射吸收比例 可编程滤波器(达到33×33) Prewitt边缘滤波器(达到33×33) 减为极滤波器 削尖滤波器(达到33×33) SOBEL边缘滤波器(达到33×33) SAR斑点滤波 正频率变换 逆频率变换 二输入图像的熔合 无监督模糊聚类 模糊K-平均聚类 图像到图像的GCP采集 图像到地图的GCP采集 来自DEM的高程 由投影执行的变换 提炼 生成光谱线曲率校正 生成传感器处的辐射LUT 向量网格内插 点覆盖网格 多边形覆盖网格 直方图数据库图像 基于直方图的纹理测量 直方图迁移聚类 同类区域分类 直方图标记生成 输出带向量作为图像光谱 逆距离内插 RGC到HIS的转换 以位图执行的数据库图像传送 合并图像文件 索引分析 图像多边形生长 Isodata聚类

表1B
名称    描述
  KCLUS  KNN  KRIGING  LAI  LRP  LUT  Mal  MASKING  MAT  MATCH  METASET  MINDIS  MLC  Mnfnr  MODEL  MOSAIC  MTE  NDVI  NGCLUS2  Nnclass  Nnint  Nntrain  ORARASLOAD  ORAVESLOAD  Ortho  OVL  PCA  Pansharp  PRX  Psboxcar  Pscc  Psclopot  Pseaba  Psfredur  PSG  Psinang  Psinten  Psintrat  Pspedht  Psphdiff  K-平均聚类  K-最近邻域分类  使用Kriging的点内插  叶面积指数模型  图像线型替代  借助查找表的图像增强  Mallat小波变换  计算雾团和云团  矩阵分析  直方图匹配LUT  设备元数据值  最小距离分类器  最大似然分类器  基于去噪的最大噪声比  建模程序  图像镶嵌  Martin-Taylor变换  根据AVHRR数据计算NDVI  N比特Narendra-Goldberg聚类  神经网络分类  神经邻域内插  神经网络训练  导出光栅到ORACLE数据库  导出向量到ORACLE数据库  正射校正  交叠分析  基本组件分析  全色锐化图像  接近分析  POLSAR矩形滤波器  两个POLSAR元素相关系数  Cloude-Pottier分类  熵、A角、B角和各相异性  Freeman-Durden无监督分类  透视场景生成  入射角度映射  POLSAR元素加强  两个POLSAR元素的入射比例  偏振响应基本高度  POLSAR元素的相位差

表1C
名称    描述
  Pspoldis  pspolfil  pspolsyn  Pspolsync  pspolsynr  pssscm  psswis  Pstotpow  psuswis  psvanzyl  pswhite  Pyramid  rbfint  regpro  REL  rsdem  rstr  Rtcsigm  RTV  sam  Sarbeta  Sarclass  sarincd  sarseg  sarsigm  sartex  SAVI  sdem  SEED  Sepipro  shftcw  SHRINK  sieve  SIGJPL  SIGMERG  SIGSEP  slc2img  slccor  SLP  smodel  smspec  偏振区分器  POLSAR斑点滤波器  通用POLSAR反射散射合成  对比度最大化反向散射合成  目标最大化反向散射合成  均衡散射特征化方法  有监督的Wishart分类  总功率  无监督的Wishart分类  无监督的van Zyl分类  白化滤波器目标探测  建立图像纵览B金字塔  基于辐射的函数内插  图像记录和投影  来自高程数据的暗褐色浮雕  雷达示波器自动DEM提取  SAR图像对比拉伸  具有Terrain校正的SAR反射散射  光栅到向量的转换  光谱角度映射  生成雷达亮度  对分段的SAR图像进行分类  SAR入射角度估计  分段单通道SAR图像  生成雷达反射散射  特定SAR的纹理测量  土地调节植被指数  卫星自动DEM提取  自动分水岭种子启动器  卫星对极投影  偏移中心波长的值  主通道中的缩短区域  筛选滤波器(类合并)  显示偏振标记  分类器标记合并  分类器标记分离  SLC到图像的转换  应用谱线曲率校正LUT  高程数据的斜率  卫星模型计算  平滑光谱

表1D
名称    描述
  smodel  smspec  solarzaz  sortho  sp2rt  spadd  spbanal  spconv  spconvf  spconvg  spconvp  spfit  Spfunc  sphull  spimari  spmod  spnorm  Spunmix  srortho  srtogr  SST  strpcor  SYNTH  tex  THR  VDEMINT  VECREG  video  WTRSHED  卫星模型计算  平滑光谱  Solar-zenith和Solar-azimuth计算器  卫星图像正交校正  光谱到雷达Trans的转换  光谱记录附加  光谱带分析  高到低分辨率光谱回旋  高到低滤波器光谱回旋  高到低高斯光谱回旋  具有响应特性的回旋光谱  将光谱拟合到基准光谱  光谱Algabraic and Trig函数  创建分段的上Hull闭联集  光谱图像算法运算  光谱记录修正  光谱标准化  光谱线性不混合  卫星雷达图像正交校正  倾斜范围到地面范围的转换  来自AVHRR数据的海平面温度  条纹校正  合成任意偏振图像  纹理分析  阈值图像到位图  来自向量层的网格DEM  向量登记(扭曲)  数字/图像摄像机参数  来自高程数据的分水岭

表1E

大量地球观测图像处理.pdf_第1页
第1页 / 共31页
大量地球观测图像处理.pdf_第2页
第2页 / 共31页
大量地球观测图像处理.pdf_第3页
第3页 / 共31页
点击查看更多>>
资源描述

《大量地球观测图像处理.pdf》由会员分享,可在线阅读,更多相关《大量地球观测图像处理.pdf(31页珍藏版)》请在专利查询网上搜索。

本发明涉及大量地球观测图像处理。本发明涉及数据处理,更具体地说,涉及用于处理大量地球观测图像数据的方法和系统。描述了一种用于处理大量地球观测成像数据的系统,包括:包括视觉显示器和用户接口的计算机、多个计算服务器、将地球观测成像数据存储为多个独立的图像数据文件的图像数据库和用于使计算机、多个服务器和图像数据库互相连接的网络。所述多个服务器以可操作的方式分布式处理所述独立的数据文件;所述多个计算服务器。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1