《一种双模双反馈自适应目标跟踪系统、控制电路及方法.pdf》由会员分享，可在线阅读，更多相关《一种双模双反馈自适应目标跟踪系统、控制电路及方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104092987A43申请公布日20141008CN104092987A21申请号201410326505722申请日20140710H04N7/18200601H04N5/23220060171申请人公安部第一研究所地址100048北京市海淀区首体南路1号申请人北京中盾安民分析技术有限公司72发明人李佩斌黄莹赵誉婷茹一74专利代理机构北京中海智圣知识产权代理有限公司11282代理人徐金伟54发明名称一种双模双反馈自适应目标跟踪系统、控制电路及方法57摘要本发明涉及图像处理技术领域，具体涉及的是一种双模双反馈自适应目标跟踪系统、控制电路及方法。本发明提供的一种双模双反馈自适。
2、应目标跟踪系统、控制电路及方法包括前端采集单元、目标识别单元和输出单元及前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，能达到对目标细节特征分析高精准度的要求，提供了一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态的视频，通过图像质量自评估控制双模态下图像采集参数的自适应调整，自动获取目标高质量图像，根据双模态下目标区域分割与双模态融合识别的结果，在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。51INTCL权利要求书4页说明书7页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书7页附图。
3、1页10申请公布号CN104092987ACN104092987A1/4页21一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元100，对所述前端采集单元100采集到的图像进行分割识别处理的目标识别单元200，对所述目标识别单元200的运算结果进行自校准并输出结果的输出单元300，其特征在于，所述前端采集单元100，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间。
4、有反馈连接，所述第一图像清晰度评估模块和双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头焦距驱动装置连接；所述可见光图像采集系统，包括按照设定信号传输顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上。
5、的第二镜头焦距驱动装置连接；所述目标识别单元200，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像分割处理模块和第二图像识别处理模块；所述输出单元300，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接。2根据权利要求1所述双模双反馈自适应目标。
6、跟踪系统，其特征在于，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。3一种根据权利要求1所述双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，其特征在于,所述前端采集单元控制电路，包括，和近红外摄像机112串联连接的第一接口411，所述第一接口411分别和第一低压差分信号接收器412、第一摄像机控制发送器413和第一串口控制收发器414连接，所述第一低压差分信号接收器412、所述第一摄像机控制发送器413和所述第一串口控制收发器414并联后与现场可编程程门阵列400连接；和可。
7、见光摄像机122电路串联连接的第二接口421，所述第二接口421分别和第二低压差分信号接收器422、第二摄像机控制发送器423和第二串口控制收发器424连接，所述第二低压差分信号接收器422、所述第二摄像机控制发送器423和所述第二串口控制收发器424并联后与所述现场可编程程门阵列400连接；权利要求书CN104092987A2/4页3所述现场可编程程门阵列400分别和电平转换电路434、驱动电路436、视频数模转换芯片438、串行配置芯片440、开关输入与指示灯电路431、第一数据采集存储器432和第二数据采集存储器433信号传输，所述电平转换电路434和串行通讯接口435串联连接，所述驱动。
8、电路436和镜头电机接口437串联连接后再分别与第一镜头电路和第二镜头电路连接，所述视频数模转换芯片438和视频接口439串联连接，所述现场可编程程门阵列400和第一JTAG接口441双向信号传输；所述目标识别单元控制电路包括，和所述现场可编程程门阵列400连接的第一数字信号处理器500和第二数字信号处理器600，所述第一数字信号处理器500分别和第一FLASH存储器502、第一数据处理存储器501和第一以太网物理层收发器503连接，所述第二数字信号处理器600分别和第二FLASH存储器602、第二数据处理存储器601和第二以太网物理层收发器603连接，所述第一数字信号处理器500和所述第二数。
9、字信号处理器600与第二JTAG接口700双向信号传输；所述输出单元控制电路，包括，和所述第一以太网物理层收发器503串联连接的第一以太网接口504；和所述第二以太网物理层收发器603串联连接的第二以太网接口604。4一种根据权利要求1所述系统的双模双反馈自适应目标跟踪的方法，包括前端采集步骤、目标识别步骤和结果输出步骤，所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；所述目标识别步骤，包括在亮度与清晰度指标。
10、均合格的两个模态的图像上分别进行区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；所述结果输出步骤，包括识别出的目标位置坐标或输出目标在双模态下剪裁出清晰图像的步骤。5根据权利要求4所述双模双反馈自适应目标跟踪的方法，其特征在于，所述前端采集步骤，还包括，第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度评估步骤；所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节。
11、近红外摄像机的曝光参数，直至亮度达到设定标准值；第一图像清晰度评估步骤，用于对近红外模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参权利要求书CN104092987A3/4页4数，直至清晰度达到设定标准值；第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度评估步骤；所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体。
12、亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度达到设定标准值；所述第二图像清晰度评估步骤，用于对可见光模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至清晰度达到设定标准值；所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清。
13、晰度按照设定标准值调节反馈输入量，按照设定的标准值对两个模态的镜头进行协调控制，分别向所述第一图像自动对焦控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距。6根据权利要求5所述双模双反馈自适应目标跟踪的方法，其特征在于，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别。
14、处理步骤，所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第一目标识别处理步骤中对经过第一图像分割处理后得到的近红外模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤；所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤。7根据权利要求6所述双模双反馈自适应目标跟踪方法，其特征在于，所述识别结果输出步骤，还包括目标识别结果自校准步骤、第一结果输出步骤和第二结果输。
15、出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为自校准成功，会将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目权利要求书CN104092987A4/4页5标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息。
16、的基础上更新目标识别结果，并进行新一轮自校准；所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；所述第二结果输出步骤，包括对外输出剪裁后目标的可见光模态图像或目标的位置坐标。权利要求书CN104092987A1/7页6一种双模双反馈自适应目标跟踪系统、控制电路及方法技术领域0001本发明涉及图像处理技术领域，具体涉及的是一种双模双反馈自适应目标跟踪系统、控制电路及方法。背景技术0002现有技术中，目标视频跟踪是一种高速图像处理技术，目前广泛应用于公共安全、工业检测、智能交通、人机交互以及军事等领域，并且在不同应用领域中呈现出不同的技术特点。例如在公共安全领域，目标视。
17、频跟踪大多呈现为针对人体目标的可见光或近红外视频跟踪，目的在于为后续对目标体态特征或生物特征的辨识工作提供素材和线索，而获取目标的高质量影像是此领域的一个重要的关注点。0003在公共安全领域中，传统的目标跟踪多以单相机在单一波段范围内包括可见光或近红外成像的方式实现，此种单模态成像方式对视频处理算法的鲁棒性要求较高，目标跟踪的质量不稳定，并且成像系统对图像质量无自控能力，这使得有时获取到的图像因相机采集参数不适应变化的光照环境而整体质量不佳，或有时获取到的目标图像因离焦而模糊，无法满足后续特征辨识的要求。发明内容0004为了克服现有技术中的缺陷，本发明提供一种双模双反馈自适应目标跟踪系统、控制。
18、电路及方法，对目标细节特征分析有高精准度要求的应用提供一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态下的视频，采取双反馈的方式进行图像亮度和清晰度的调整，可通过图像质量自评估控制双模态下图像采集参数的自适应调整，以自动获取目标高质量图像，再根据双模态下目标区域分割与双模态融合识别的结果，达到在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。0005本发明是通过如下技术方案实现的本发明提供了一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元，对所述前端采集单元采集到的图像进行分割识别处理的目标识别单元，。
19、对所述目标识别单元的运算结果进行自校准并输出结果的输出单元，所述前端采集单元，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间有反馈连接，所述第一图像清晰度评估模块和所述双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头焦距驱动装置连接；所述可见光图像采集系统，包括按照设定信号传输。
20、顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈说明书CN104092987A2/7页7连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上的第二镜头焦距驱动装置连接；所述目标识别单元，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像分割处理模块和第二图像识别处理模。
21、块；所述输出单元，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接。0006进一步的，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。0007进一步的，本发明还提供了一种双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，其特征。
22、在于,所述前端采集单元控制电路，包括，和近红外摄像机串联连接的第一接口，所述第一接口分别和第一低压差分信号接收器、第一摄像机控制发送器和第一串口控制收发器连接，所述第一低压差分信号接收器、所述第一摄像机控制发送器和所述第一串口控制收发器并联后与现场可编程程门阵列连接；和可见光摄像电路串联连接的第二接口，所述第二接口分别和第二低压差分信号接收器、第二摄像机控制发送器和第二串口控制收发器连接，所述第二低压差分信号接收器、所述第二摄像机控制发送器和所述第二串口控制收发器并联后与所述现场可编程程门阵列连接；所述现场可编程程门阵列分别和电平转换电路、驱动电路、视频数模转换芯片、串行配置芯片、开关输入与指。
23、示灯电路、第一数据采集存储器和第二数据采集存储器信号传输，所述电平转换电路和串行通讯接口串联连接，所述驱动电路和镜头电机接口串联连接后再分别与第一镜头电路和第二镜头电路连接，所述视频数模转换芯片和视频接口串联连接，所述现场可编程程门阵列和第一JTAG接口双向信号传输；所述目标识别单元控制电路包括，和所述现场可编程程门阵列连接的第一数字信号处理器和第二数字信号处理器，所述第一数字信号处理器分别和第一FLASH存储器、第一数据处理存储器和第一以太网物理层收发器连接，所述第二数字信号处理器分别和第二FLASH存储器、第二数据处理存储器和第二以太网物理层收发器连接，所述第一数字信号处理器和所述第二数字。
24、信号处理器与第二JTAG接口双向信号传输；所述输出单元控制电路，包括，和所述第一以太网物理层收发器串联连接的第一以太网接口；和所述第二以太网物理层收发器串联连接的第二以太网接口。0008进一步的，本发明还提供了一种双模双反馈自适应目标跟踪的方法，包括前端采集步骤、目标识别步骤和结果输出步骤，所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；所述目标识别步骤，包括在亮度与清晰度指标均合格的两个模态的图像上分别进行。
25、区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；所述结果输出步骤，包括识别出的目标位置坐标或说明书CN104092987A3/7页8输出目标在双模态下剪裁出清晰图像的步骤。0009进一步的，所述前端采集步骤，还包括，第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度评估步骤；所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节近红外摄像机的曝光参数，直至亮度达到设。
26、定标准值；第一图像清晰度评估步骤，用于对近红外模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参数，直至清晰度达到设定标准值；第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度评估步骤；所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤。
27、，如果亮度未达到设定标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度达到设定标准值；所述第二图像清晰度评估步骤，用于对可见光模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至清晰度达到设定标准值；所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清晰度按照设定标准值调节反馈输入量，按照设定的标准值对两个模态的镜头进行协调控制，分。
28、别向所述第一图像自动对焦控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距。0010进一步的，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别处理步骤，所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第一目标识别处理步骤。
29、中对经过第一图像分割处理后得到的近红外模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤；所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤。0011进一步的，所述识别结果输出步骤，还包括目标识别结果自校准步骤、第一结果输出步骤和第二结果输出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为。
30、自校准成功，会将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条说明书CN104092987A4/7页9件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息的基础上更新目标识别结果，并进行新一轮自校准；所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；所述第二结果输出步骤，包括对外输出剪裁后目标的可见光。
31、模态图像或目标的位置坐标。0012与现有技术相比，优越效果在于本发明具有双模双反馈态信息并行处理、自适应采集协调控制、识别过程融合决策、跟踪结果同步输出的特点，具有更高的目标跟踪鲁棒性。附图说明0013图1是本发明一种双模双反馈自适应目标跟踪系统模块图；0014图2是本发明一种双模双反馈自适应目标跟踪系统的控制电路图。0015附图标记如下0016100前端采集单元，200目标识别单元，300输出单元，400FPGA现场可编程门阵列，500第一DSP数字信号处理器，600第二DSP数字信号处理器，700DSPJTAG第二JTAG接口；111第一镜头，112近红外摄像机，116第一反馈接口；121。
32、第二镜头，122可见光摄像机，126第二反馈接口；411第一CAMERALINK接口，412第一LVDS低压差分信号接收器，413第一摄像机控制发送器，414第一串口控制收发器；421第二CAMERALINK接口，422第二LVDS低压差分信号接收器，423第二摄像机控制发送器，424第二串口控制收发器；431LEDSWT开关输入与指示灯电路，432第一数据采集存储器，433第二数据采集存储器，434电平转换电路，435RS232串行通讯接口，436驱动电路，437镜头电机接口，438VIDEODA视频数模转换芯片，439VGA视频接口，440EPCS串行配置芯片，441FPGAJTAG第一J。
33、TAG接口；501第一数据处理存储器，502第一FLASH存储器，503第一PHY以太网物理层收发器，504第一ENET以太网接口；601第二数据处理存储器，602第二FLASH存储器，603第二PHY以太网物理层收发器，604第二ENET以太网接口。0017图中箭头方向为信号传输方向。具体实施方式0018下面结合说明书附图对本发明具体实施方式作进一步详细说明。0019实施例10020如说明书附图1和图2,具体说明本发明，本发明提供了一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元100，对所述前端采集单元100采集到的图像进行分割识别处理的目标识别单元200，对。
34、所述目标识别单元200的运算结果进行自校准并输出结果的输出单元300，所述前端采集单元100，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像说明书CN104092987A5/7页10亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间有反馈连接，所述第一图像清晰度评估模块和所述双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和所述第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头。
35、焦距驱动装置连接；所述可见光图像采集系统，包括按照设定信号传输顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和所述第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上的第二镜头焦距驱动装置连接；所述目标识别单元200，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像。
36、分割处理模块和第二图像识别处理模块；所述输出单元300，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。0021本实施例还提供了一种双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制。
37、电路,所述前端采集单元控制电路，包括，和近红外摄像机112串联连接的第一CAMERALINK接口411，所述第一CAMERALINK接口411分别和第一LVDS低压差分信号接收器412、第一摄像机控制发送器413和第一串口控制收发器414连接，第一LVDS低压差分信号接收器412、第一摄像机控制发送器413和第一串口控制收发器414并联后与FPGA现场可编程程门阵列400连接；和可见光摄像机122电路串联连接的第二CAMERALINK接口421，所述第二CAMERALINK接口421分别和第二LVDS低压差分信号接收器422、第二摄像机控制发送器423和第二串口控制收发器424连接，第二LVD。
38、S低压差分信号接收器422、第二摄像机控制发送器423和第一串口控制收发器424并联后与FPGA现场可编程程门阵列400连接；所述FPGA现场可编程程门阵列400分别和电平转换电路434、驱动电路436、VIDEODA视频数模转换芯片438、EPCS串行配置芯片440、LEDSWT开关输入与指示灯电路431、第一数据采集存储器432和第二数据采集存储器433连接，所述电平转换电路434和RS232串行通讯接口435串联连接，所述驱动电路436和镜头电机接口437串联连接后再分别与第一镜头电路和第二镜头电路连接，所述VIDEODA视频数模转换芯片438和VGA视频接口439串联连接，所述FPGA。
39、现场可编程程门阵列400和第一JTAG接口441串联连接；所述目标识别单元控制电路包括，和所述FPGA现场可编程程门阵列400连接的第一DSP数字信号处理器500和第二DSP数字信号处理器600，所述第一DSP数字信号处理器500分别和第一FLASH存储器502、第一数据处理存储器501和第一PHY以太网物理层收发器503连接，所述第二DSP数字信号处理器600分别和第二FLASH存储器602、第二数据处理存储器601和第二PHY以太网物理层收发器603连接，所述第一说明书CN104092987A106/7页11DSP数字信号处理器500和第二DSP数字信号处理器600与第二JTAG接口700。
40、串联连接；所述输出单元控制电路，包括，和所述第一PHY以太网物理层收发器503串联连接的第一ENET以太网接口504；和所述第二PHY以太网物理层收发器603串联连接的第二ENET以太网接口604。本发明提供的一种双模双反馈自适应目标跟踪的方法，包括前端采集步骤、目标识别步骤和结果输出步骤，所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自按照设定标准值参数评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；所述目标识别步骤，包括在亮度与清晰度指标均合格的两个模。
41、态的图像上分别进行区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；所述结果输出步骤，包括识别出的目标位置坐标或输出目标在双模态下剪裁出清晰图像的步骤，所述前端采集步骤，还包括，第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度按照设定标准值评估步骤；所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节近红外摄像机的曝光参数，直至亮度合格；第一图像清晰度按照设定标准值评估步骤，用。
42、于对近红外模态图像进行清晰度评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度过低或过高，未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参数，直至清晰度达到设定的标准值；第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度按照设定标准值评估评估步骤；所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体亮度评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤，如果亮度过高或过低，未达到设定。
43、的标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度合格；所述第二图像清晰度评估按照设定标准值评估步骤，用于对可见光模态图像进行清晰度评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度过低，未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至达到设定标准值，清晰度合格；所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清晰度调节反馈输入量，按照设定的仲裁方案对两个模态的镜头进行协调控制，分别向所述第一图像自动对焦。
44、控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别处理步骤，所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第一目标识别处理步骤中对经过第一图像分割处理后得到的近红外模态。
45、图像进行目标说明书CN104092987A117/7页12识别，确定备选跟踪结果传送至目标识别结果自校准步骤；所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤，所述识别结果输出步骤，还包括目标识别结果自校准步骤、第一结果输出步骤和第二结果输出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为自校准成功，会。
46、将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息的基础上更新目标识别结果，并进行新一轮自校准；所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；所述第二结果输出步骤，包括对外输出剪裁后目标的可见光模态图像或目标的位置坐标。本发明能达到对目标细节特征分析高精准度的要求，提供了一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态的视频，通过图像质量自评估控制双模态下图像采集参数的自适应调整，自动获取目标高质量图像，根据双模态下目标区域分割与双模态融合识别的结果，在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。0022本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员可以想到的任何变形、改进、替换均落入本发明的范围。说明书CN104092987A121/1页13图1图2说明书附图CN104092987A13。