一种可重构的拓扑式实时图像处理系统.pdf

1、10申请公布号CN104065905A43申请公布日20140924CN104065905A21申请号201410314098822申请日20140702H04N5/76200601G06T1/0020060171申请人中国科学院长春光学精密机械与物理研究所地址130033吉林省长春市东南湖大路3888号72发明人朱明陈东成74专利代理机构长春菁华专利商标代理事务所22210代理人田春梅54发明名称一种可重构的拓扑式实时图像处理系统57摘要一种可重构的拓扑式实时图像处理系统属于空间光学图像处理系统领域，该系统包括多个图像处理单元、数据交换控制单元、背板I/O接口板、FPGA网关式后IO板和主控

2、计算机，相机通过第一CAMERALINK传输线与FPGA网关式后IO板连接；主控计算机分别通过第二CAMERALINK传输线和第一串口总线与FPGA网关式后IO板连接。FPGA网关式后IO板分别通过多条并行数据总线和第二串口总线与背板I/O接口板连接。背板I/O接口板分别通过4PCIE总线和数据交换控制单元串口总线与数据交换控制单元连接。本发明可重构的拓扑式实时图像处理系统体积小、重量轻，图像处理性能高。51INTCL权利要求书2页说明书4页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书4页附图1页10申请公布号CN104065905ACN104065905A1/

3、2页21一种可重构的拓扑式实时图像处理系统，其特征在于该系统包括多个图像处理单元、数据交换控制单元、背板I/O接口板、FPGA网关式后IO板和主控计算机，相机通过第一CAMERALINK传输线与FPGA网关式后IO板连接；主控计算机分别通过第二CAMERALINK传输线和第一串口总线与FPGA网关式后IO板连接；FPGA网关式后IO板分别通过多条并行数据总线和第二串口总线与背板I/O接口板连接；背板I/O接口板分别通过4PCIE总线和数据交换控制单元串口总线与数据交换控制单元连接；每一个图像处理单元分别通过PCIE总线和SATA总线与数据交换控制单元连接，每一个图像处理单元还分别通过图像处理单

4、元串口总线和4SRIO总线与背板I/O接口板连接；数据交换控制单元内设有SATA硬盘，每一个图像处理单元所对应的SATA总线均与该SATA硬盘连接；所述主控计算机通过第一串口总线与FPGA网关式后IO板进行控制命令的双向通讯，主控计算机还通过第二CAMERALINK传输线从FPGA网关式后IO板接收多个图像处理单元回传来的最终图像数据；相机通过第一CAMERALINK传输线将自身采集到的多种未经处理的图像数据流传送给FPGA网关式后IO板；FPGA网关式后IO板按照主控计算机发来的控制命令对未经处理的图像数据流进行分配并分别通过多条并行数据总线将分配后的图像数据流传输至背板I/O接口板；FPG

5、A网关式后IO板还通过第二串口总线与背板I/O接口板进行控制命令的双向通讯；所述每一个图像处理单元均可以通过4SRIO总线从背板I/O接口板上读取未经处理的图像数据流并对图像进行运算处理，若所述当前图像处理单元运算处理后的图像数据是需要其它图像处理单元继续加工的中间图像数据，则当前图像处理单元通过与其对应连接的PCIE总线将该中间图像数据传送给数据交换控制单元进行缓存，后续的其它图像处理单元再通过与其对应连接的PCIE总线从数据交换控制单元上读取所需的前述中间图像数据，并对该中间图像数据进行后续的运算处理；若当前图像处理单元运算处理后的图像数据是最终图像结果数据，则该图像处理单元通过与其对应连

6、接的SATA总线将该最终图像结果数据直接传送给数据交换控制单元内的SATA硬盘进行永久储存；图像处理单元顺次通过图像处理单元串口总线、背板I/O接口板、第二串口总线、FPGA网关式后IO板和第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要对前述当前图像处理单元的最终图像结果进行实时显示，则根据主控计算机发来的控制命令，当前图像处理单元可以通过与其对应连接的4SRIO总线将该图像处理单元自身的图像最终结果实时数据传送给背板I/O接口板，再经与该当前图像处理单元对应的并行数据总线传送给FPGA网关式后IO板，最后，该最终图像结果实时数据再由FPGA网关式后IO板通过第二CAMERA

7、LINK传输线回传至主控计算机另行进行同步显示或存储；所述数据交换控制单元顺次通过数据交换单元串口总线、背板I/O接口板、第二串口总线、FPGA网关式后IO板和第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要调取前述SATA硬盘所存储的最终图像结果历史数据，则根据主控计算机发来的控制命令，数据交换控制单元可以通过与其对应连接的4PCIE总线将SATA硬盘所存储的最终图像结果历史数据传送给背板I/O接口板，再经并行数据总线传送给FPGA网关式后IO板，最后，该最终图像结果历史数据再由FPGA网关式后IO板通过第二CAMERALINK传输线回传至主控计算机另行进行显示或存储。2如权

8、利要求1所述的一种可重构的拓扑式实时图像处理系统，其特征在于所述多权利要求书CN104065905A2/2页3条并行数据总线中的一条与数据交换控制单元对应，其余多条与多个图像处理单元一一对应。3如权利要求1所述的一种可重构的拓扑式实时图像处理系统，其特征在于所述多个图像处理单元包括现图像拼接单元、图像配准融合单元、图像增强单元、图像去雾单元和图像目标检测单元。4如权利要求1所述的一种可重构的拓扑式实时图像处理系统，其特征在于所述4PCIE总线可以由常规网线代替。权利要求书CN104065905A1/4页4一种可重构的拓扑式实时图像处理系统技术领域0001本发明属于空间光学图像处理系统领域，具体

9、涉及一种可重构的拓扑式实时图像处理系统。背景技术0002搭载在人造卫星等空间探测仪器平台上的光学处理系统通常受到装机空间和重量的限制，因此，需要具有较高的集成度、体积小、重量轻，并且其模块化的不同功能单元应该能够根据需求增加拓展。0003现有的空间光学图像处理系统有时无法同时满足上述需求，因此，设计一种综合一体化的，既可以扩展功能、提高性能，又减小体积和重量的拓扑式、可重构实时图像处理系统成为研发课题。发明内容0004为了解决现有空间光学图像处理系统的集成度低、体积和重量大以及功能单元拓展性差，无法满足在装机空间有限、重量严重受限的空间平台上的安装需求的技术问题，本发明提供一种可重构的拓扑式实

10、时图像处理系统。0005本发明解决技术问题所采取的技术方案如下0006一种可重构的拓扑式实时图像处理系统，其特征在于该系统包括多个图像处理单元、数据交换控制单元、背板I/O接口板、FPGA网关式后IO板和主控计算机，相机通过第一CAMERALINK传输线与FPGA网关式后IO板连接；主控计算机分别通过第二CAMERALINK传输线和第一串口总线与FPGA网关式后IO板连接；FPGA网关式后IO板分别通过多条并行数据总线和第二串口总线与背板I/O接口板连接；背板I/O接口板分别通过4PCIE总线和数据交换控制单元串口总线与数据交换控制单元连接；每一个图像处理单元分别通过PCIE总线和SATA总线

11、与数据交换控制单元连接，每一个图像处理单元还分别通过图像处理单元串口总线和4SRIO总线与背板I/O接口板连接；数据交换控制单元内设有SATA硬盘，每一个图像处理单元所对应的SATA总线均与该SATA硬盘连接；0007所述主控计算机通过第一串口总线与FPGA网关式后IO板进行控制命令的双向通讯，主控计算机还通过第二CAMERALINK传输线从FPGA网关式后IO板接收多个图像处理单元回传来的最终图像数据；相机通过第一CAMERALINK传输线将自身采集到的多种未经处理的图像数据流传送给FPGA网关式后IO板；FPGA网关式后IO板按照主控计算机发来的控制命令对未经处理的图像数据流进行分配并分别

12、通过多条并行数据总线将分配后的图像数据流传输至背板I/O接口板；FPGA网关式后IO板还通过第二串口总线与背板I/O接口板进行控制命令的双向通讯；0008所述每一个图像处理单元均可以通过4SRIO总线从背板I/O接口板上读取未经处理的图像数据流并对图像进行运算处理，若所述当前图像处理单元运算处理后的图像数据是需要其它图像处理单元继续加工的中间图像数据，则当前图像处理单元通过与其对应说明书CN104065905A2/4页5连接的PCIE总线将该中间图像数据传送给数据交换控制单元进行缓存，后续的其它图像处理单元再通过与其对应连接的PCIE总线从数据交换控制单元上读取所需的前述中间图像数据，并对该中

13、间图像数据进行后续的运算处理；若当前图像处理单元运算处理后的图像数据是最终图像结果数据，则该图像处理单元通过与其对应连接的SATA总线将该最终图像结果数据直接传送给数据交换控制单元内的SATA硬盘进行永久储存；0009图像处理单元顺次通过图像处理单元串口总线、背板I/O接口板、第二串口总线、FPGA网关式后IO板和第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要对前述当前图像处理单元的最终图像结果进行实时显示，则根据主控计算机发来的控制命令，当前图像处理单元可以通过与其对应连接的4SRIO总线将该图像处理单元自身的图像最终结果实时数据传送给背板I/O接口板，再经与该当前图像处理

14、单元对应的并行数据总线传送给FPGA网关式后IO板，最后，该最终图像结果实时数据再由FPGA网关式后IO板通过第二CAMERALINK传输线回传至主控计算机另行进行同步显示或存储；0010所述数据交换控制单元顺次通过数据交换单元串口总线、背板I/O接口板、第二串口总线、FPGA网关式后IO板和第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要调取前述SATA硬盘所存储的最终图像结果历史数据，则根据主控计算机发来的控制命令，数据交换控制单元可以通过与其对应连接的4PCIE总线将SATA硬盘所存储的最终图像结果历史数据传送给背板I/O接口板，再经并行数据总线传送给FPGA网关式后IO

15、板，最后，该最终图像结果历史数据再由FPGA网关式后IO板通过第二CAMERALINK传输线回传至主控计算机另行进行显示或存储。0011所述多条并行数据总线中的一条与数据交换控制单元对应，其余多条与多个图像处理单元一一对应。0012所述多个图像处理单元包括现图像拼接单元、图像配准融合单元、图像增强单元、图像去雾单元和图像目标检测单元。0013所述4PCIE总线可以由常规网线代替。0014本发明的有益效果是该可重构的拓扑式实时图像处理系统体积小、重量轻，可根据不同的需求采用拓扑的方式增加或减少图像处理单元的数量和类型从而进一步提高图像处理性能。其外挂SATA存储硬盘优先与主控计算机保存个图像单元

16、最终处理完成后的图像数据，而主控计算机则可根据需要，直接读取和显示不同图像处理单元最终完成的实时的图像，或者从SATA存储调取不同的图像结果历史数据，另行显示和存储，从而避免了主控计算机在实时显示图像的同时还要存储，缓解主控计算机的数据处理压力。附图说明0015图1是本发明一种可重构的拓扑式实时图像处理系统的原理框图；具体实施方式0016下面结合附图对本发明做进一步详细说明。0017如图1所示，一种可重构的拓扑式实时图像处理系统，包括多个图像处理单元、数据交换控制单元、背板I/O接口板、FPGA网关式后IO板和主控计算机，相机通过第一CAMERALINK传输线与FPGA网关式后IO板连接；主控

17、计算机分别通过第二CAMERALINK说明书CN104065905A3/4页6传输线和第一串口总线与FPGA网关式后IO板连接。FPGA网关式后IO板分别通过多条并行数据总线和第二串口总线与背板I/O接口板连接。背板I/O接口板分别通过4PCIE总线和数据交换控制单元串口总线与数据交换控制单元连接。每一个图像处理单元分别通过PCIE总线和SATA总线与数据交换控制单元连接，每一个图像处理单元还分别通过图像处理单元串口总线和4SRIO总线与背板I/O接口板连接；数据交换控制单元内设有SATA硬盘，每一个图像处理单元所对应的SATA总线均与该SATA硬盘连接。0018主控计算机通过第一串口总线与F

18、PGA网关式后IO板进行控制命令的双向通讯，主控计算机还通过第二CAMERALINK传输线从FPGA网关式后IO板接收多个图像处理单元回传来的最终图像数据。相机通过第一CAMERALINK传输线将自身采集到的未经处理的红外线或可见光图像数据流传送给FPGA网关式后IO板。FPGA网关式后IO板按照主控计算机发来的控制命令对未经处理的图像数据流进行分配并分别通过多条并行数据总线将分配后的图像数据流传输至背板I/O接口板；FPGA网关式后IO板还通过第二串口总线与背板I/O接口板进行控制命令的双向通讯。0019每一个图像处理单元均可以通过4SRIO总线从背板I/O接口板上读取未经处理的图像数据流并

19、对图像进行运算处理，若当前图像处理单元运算处理后的图像数据是需要其它图像处理单元继续加工的中间图像数据，则当前图像处理单元通过与其对应连接的PCIE总线将该中间图像数据传送给数据交换控制单元进行缓存，后续的其它图像处理单元再通过与其对应连接的PCIE总线从数据交换控制单元上读取所需的前述中间图像数据，并对该中间图像数据进行后续的运算处理。若当前图像处理单元运算处理后的图像数据是最终图像结果数据，则该图像处理单元通过与其对应连接的SATA总线将该最终图像结果数据直接传送给数据交换控制单元内的SATA硬盘进行永久储存。0020图像处理单元顺次通过图像处理单元串口总线、背板I/O接口板、第二串口总线

20、、FPGA网关式后IO板和第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要对前述当前图像处理单元的最终图像结果进行实时显示，则根据主控计算机发来的控制命令，当前图像处理单元可以通过与其对应连接的4SRIO总线将该图像处理单元自身的图像最终结果实时数据传送给背板I/O接口板，再经与该当前图像处理单元对应的并行数据总线传送给FPGA网关式后IO板，最后，该最终图像结果实时数据再由FPGA网关式后IO板通过第二CAMERALINK传输线回传至主控计算机另行进行同步显示或存储。0021数据交换控制单元顺次通过数据交换单元串口总线、背板I/O接口板、第二串口总线、FPGA网关式后IO板和

21、第一串口总线与主控计算机进行控制命令的双向通讯，若主控计算机需要调取前述SATA硬盘所存储的最终图像结果历史数据，则根据主控计算机发来的控制命令，数据交换控制单元可以通过与其对应连接的4PCIE总线将SATA硬盘所存储的最终图像结果历史数据传送给背板I/O接口板，再经并行数据总线传送给FPGA网关式后IO板，最后，该最终图像结果历史数据再由FPGA网关式后IO板通过第二CAMERALINK传输线回传至主控计算机另行进行显示或存储。0022多条并行数据总线中的一条与数据交换控制单元对应，其余多条与多个图像处理单元一一对应。4PCIE总线可以由常规网线代替。0023多个图像处理单元包括现图像拼接单元、图像配准融合单元、图像增强单元、图像去雾单元和图像目标检测单元。说明书CN104065905A4/4页70024FPGA网关式后IO板采用可写ALTERA公司的STRATIXII系列或更大规模的FPGA并与IO板集成。说明书CN104065905A1/1页8图1说明书附图CN104065905A