主从结构分布式视频处理系统及其调度方法.pdf

《主从结构分布式视频处理系统及其调度方法.pdf》由会员分享，可在线阅读，更多相关《主从结构分布式视频处理系统及其调度方法.pdf（27页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102866920 A (43)申请公布日 2013.01.09 C N 1 0 2 8 6 6 9 2 0 A *CN102866920A* (21)申请号 201210274203.0 (22)申请日 2012.08.02 G06F 9/50(2006.01) H04N 5/14(2006.01) (71)申请人杭州海康威视系统技术有限公司 地址 310051 浙江省杭州市滨江区东流路 700号海康科技园1号楼 (72)发明人金升鹏 管国辰 邹拓宇 (74)专利代理机构上海一平知识产权代理有限 公司 31266 代理人成春荣 竺云 (54) 发明名称 主从结构分布。

2、式视频处理系统及其调度方法 (57) 摘要 本发明涉及视频处理领域，公开了一种主从 结构分布式视频处理系统及其调度方法。实现处 理资源的高效利用，减少系统资源的浪费损耗。本 发明中，分布式视频处理系统包括用于分布式处 理的至少两个处理资源，该处理资源在处理节点 上采用分析算法进行任务处理。包括以下步骤： 根据作业的预定优先级对分布式视频处理系统中 的作业队列中待处理的作业进行调度；对于批处 理作业，则分配分布式视频处理系统中当前未被 占用的最大处理能力值的处理资源；对于流处理 作业，则占用分布式视频处理系统中当前剩余处 理能力值大于该作业的任务复杂度且剩余处理能 力值最小的处理资源。 (51)。

3、Int.Cl. 权利要求书3页 说明书12页 附图11页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 12 页 附图 11 页 1/3页 2 1.一种主从结构分布式视频处理系统的调度方法，所述分布式视频处理系统包括用于 分布式处理的至少两个处理资源，该处理资源在分布式视频处理系统的处理节点上采用分 析算法进行任务处理，其特征在于，包括以下步骤： 根据作业的预定优先级对所述分布式视频处理系统中的作业队列中的作业进行调 度； 对于批处理作业，则分配所述分布式视频处理系统中当前未被占用的最大处理能力值 的处理资源； 对于流处理作业，则占用所述分布式视频处理。

4、系统中当前剩余处理能力值大于该作业 的任务复杂度且剩余处理能力值最小的处理资源。 2.根据权利要求1所述的主从结构分布式视频处理系统的调度方法，其特征在于，在 所述根据作业的预定优先级对所述分布式视频处理系统中的作业队列中作业进行调度的 步骤之前，还包括以下步骤： 对所述分布式视频处理系统中的处理资源的处理能力和作业队列中流处理作业的复 杂度进行归一化。 3.根据权利要求1所述的主从结构分布式视频处理系统的调度方法，其特征在于，所 述对于批处理作业，则分配分布式视频处理系统中当前未被占用的最大处理能力值的处理 资源的步骤，包括以下子步骤： 获得当前优先级队列中批处理作业数目m，m为正整数； 从。

5、所述分布式视频处理系统中，获得当前最大处理能力值的空闲处理资源数n，n为正 整数； 将平均值n/m取整结果为j，其中，j为自然数； 若当前优先级队列中批处理作业需求的空闲处理资源数小于等于j，则为该批处理作 业分配所需求的空闲处理资源数； 若当前优先级队列中批处理作业需求的空闲处理资源数大于j，则先为该批处理作业 分配j个空闲处理资源数，并进行空闲处理资源抢占。 4.根据权利要求1所述的主从结构分布式视频处理系统的调度方法，其特征在于，所 述对于流处理作业，则占用分布式视频处理系统中当前剩余处理能力值大于该作业的任务 复杂度且剩余处理能力值最小的处理资源的步骤之后，还包括以下步骤： 判断所述流。

6、处理作业是否全部成功占用到所需要的分布式视频处理系统中当前剩余 处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源； 若没有全部成功占用到，则发出所需要剩余的处理资源抢占请求，以预订并占用所需 要的当前正在被抢占的分布式视频处理系统中当前剩余处理能力值大于该作业的任务复 杂度且剩余处理能力值最小的处理资源； 若所述流处理作业发出所需要剩余的处理资源抢占请求后，没有成功预订和占用到所 需要的当前正在被抢占的分布式视频处理系统中当前剩余处理能力值大于该作业的任务 复杂度且剩余处理能力值最小的处理资源，则进行资源报警处理。 5.根据权利要求1至4中任一项所述的主从结构分布式视频处理系统的。

7、调度方法，其 特征在于，所述根据作业的预定优先级对所述分布式视频处理系统中作业队列中作业进行 调度的步骤，包括以下子步骤： 权 利 要 求 书CN 102866920 A 2/3页 3 对于所述作业队列中相同优先级的多个作业，采用先进先出策略进行作业调度；或者 对于所述作业队列中不同优先级的多个作业，根据作业优先级的高低进行调度。 6.一种主从结构分布式视频处理系统的调度系统，所述分布式视频处理系统包括用于 分布式处理的至少两个处理资源，该处理资源在分布式视频处理系统的处理节点上采用分 析算法进行任务处理，其特征在于，所述调度系统包括： 调度器，用于根据作业的预定优先级及作业类型对所述分布式视。

8、频处理系统的作业队 列中的作业进行调度； 第一资源分配单元，用于对于批处理作业，分配所述分布式视频处理系统中当前未被 占用的最大处理能力值的处理资源； 第二资源分配单元，用于对于流处理作业，占用所述分布式视频处理系统中当前剩余 处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 7.根据权利要求6所述的主从结构分布式视频处理系统的调度系统，其特征在于，还 包括： 归一化单元，用于对所述分布式视频处理系统中的处理资源的处理能力和作业队列中 流处理作业的复杂度进行归一化。 8.根据权利要求6所述的主从结构分布式视频处理系统的调度系统，其特征在于，所 述第一资源分配单元，还包括以下子模。

9、块： 第一作业统计子模块，用于获得当前优先级队列中批处理作业数目m，m为不小于零的 整数； 第一资源统计子模块，从该分布式视频处理系统中，获得当前最大处理能力值的空闲 处理资源数n，n为自然数； 第一均值子模块，用于将平均值n/m取整为j，其中j为自然数； 第一判断子模块，用于判断当前优先级队列中批处理作业需求的空闲处理资源数是否 大于j； 第一资源分配子模块，用于当所述第一判断子模块判定当前优先级队列中批处理作业 需求的空闲处理资源数大于j时，为该批处理作业分配j个空闲处理资源数； 第一资源抢占子模块，用于当所述第一判断子模块判定当前优先级队列中批处理作业 需求的空闲处理资源数大于j时，抢占。

10、空闲处理资源； 第二资源分配子模块，用于当所述第一判断子模块判定当前优先级队列中批处理作业 需求的空闲处理资源数小于等于j时，为该批处理作业分配所需求的空闲处理资源数。 9.根据权利要求6所述的主从结构分布式视频处理系统的调度系统，其特征在于，所 述第二资源分配单元，还包括以下子模块： 第三判断子模块，用于判断流处理作业是否全部成功占用到所需要的分布式视频处 理系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资 源； 抢占请求子模块，用于在所述流处理作业没有全部成功占用到所需要的处理资源数时 发出资源抢占请求； 资源占用子模块，用于为所述流处理作业预定和/或占用分布式视。

11、频处理系统中当前 剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源； 权 利 要 求 书CN 102866920 A 3/3页 4 第二报警子模块，用于所述抢占请求子模块发出抢占请求后，且所述资源占用子模块 没有为所述流处理作业预定和占用到所需要的处理资源时，进行资源报警处理。 10.根据权利要求6至9中任一项所述的主从结构分布式视频处理系统的调度系统，其 特征在于，所述调度器，对于作业队列中相同优先级的多个作业，采用先进先出策略进行作 业调度； 所述调度器，对于作业队列中不同优先级的多个作业，根据作业优先级的高低进行调 度。 权 利 要 求 书CN 102866920 A 。

12、1/12页 5 主从结构分布式视频处理系统及其调度方法 技术领域 0001 本发明涉及视频处理领域，特别涉及一种视频分布式处理资源调度技术。 背景技术 0002 现有的智能视频分析很少使用分布式计算，究其原因，主要是因为相关项目的应 用场景规模较小，不需要使用大规模分布式计算的方案。然而，随着视频监控、公共安全等 行业的兴起，世界各地平安城市和重大活动安保工作的开展，大规模智能视频监控的应用 已经越来越广泛，分布式计算或云计算与安防行业的结合必将是大势所趋。 0003 目前的分布式智能视频分析方案主要分为前端分析和后端分析两种。目前采用前 端分析的方案有一个缺点，前端设备一般是智能摄像机、数字。

13、视频服务器、数字硬盘录像机 或者其他特殊化的设备，往往只能处理某一类的智能视频分析问题，导致所处理的业务类 型单一和系统的通用性较弱。采用后端分析的方法往往是部署一个PC机或服务器的集群， 从前端设备取流、解码后再做智能视频分析，该方法相比前端分析的方法而言，软件或算法 升级简单，业务通用性较强。在视频监控领域，许多厂商推出了后端智能视频分析设备或方 案，例如各种智能视频分析仪和视频智能信息检索服务器。问题在于，这些设备在处理数据 的类型及其数据的处理类型上较为单一。例如上述智能视频分析仪往往只能处理前端实时 采集的数据，而对录像文件的检索只能由检索服务器来完成。本发明的发明人发现，这样的 系。

14、统具有如下缺点：1）子系统类型较多，导致整体系统复杂度更高；2）子系统通用性不强； 3）整体系统高可用性较低，例如，假设一个系统由上述分析仪和检索服务器组成，若系统中 的分析仪异常而检索服务器正常工作，则系统丧失了处理实时数据的能力。 0004 本发明的发明人还发现，中国专利号为201699880U的实用新型专利所公布的一 种分布式智能视频搜索系统中，其技术方案要求特殊的前端设备，如果要检索的视频信息 变化，势必要求前端设备作一定的修改，通用性不强。其次，没有考虑节省计算资源的方法， 例如，该专利所描述的智能前端的处理能力可能远远大于某一智能视频分析任务，在处理 此类任务时，智能前端的处理能力。

15、没有得到最大化利用，造成资源浪费。该专利并没有解决 此类问题。 0005 综上所述，现有技术虽然能够解决分布式智能视频分析领域的部分问题，却还有 较大可完善和提高的空间。 发明内容 0006 本发明的目的在于提供一种主从结构分布式视频处理系统及其调度方法，实现处 理资源的高效利用，减少系统资源的浪费损耗。 0007 为解决上述技术问题，本发明的实施方式公开了一种主从结构分布式视频处理系 统的调度方法，分布式视频处理系统包括用于分布式处理的至少两个处理资源，该处理资 源在分布式视频处理系统的处理节点上采用分析算法进行任务处理，包括以下步骤： 0008 根据作业的预定优先级对分布式视频处理系统中的。

16、作业队列中作业进行调度； 说 明 书CN 102866920 A 2/12页 6 0009 对于批处理作业，则分配分布式视频处理系统中当前未被占用的最大处理能力值 的处理资源； 0010 对于流处理作业，则占用分布式视频处理系统中当前剩余处理能力值大于该作业 的任务复杂度且剩余处理能力值最小的处理资源。 0011 本发明的实施方式还公开了一种主从结构分布式视频处理系统的调度系统，分布 式视频处理系统包括用于分布式处理的至少两个处理资源，该处理资源在分布式视频处理 系统的处理节点上采用分析算法进行任务处理，调度系统包括： 0012 调度器，用于根据作业的预定优先级及作业类型对分布式视频处理系统中。

17、的作业 队列中的作业进行调度； 0013 第一资源分配单元，用于对于批处理作业，分配分布式视频处理系统中当前未被 占用的最大处理能力值的处理资源； 0014 第二资源分配单元，用于对于流处理作业，占用分布式视频处理系统中当前剩余 处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 0015 本发明实施方式与现有技术相比，主要区别及其效果在于： 0016 在主从结构分布式视频处理系统的任务复杂度和处理能力评估或归一化方法基 础之上，将批处理作业与流处理作业统一在分布式视频处理系统中调度处理，以及所处理 数据的类型多样化，不仅降低了系统的复杂度，而且提高了系统中处理资源的通用性，以及。

18、 系统的高可用性。 0017 进一步地，对分布式视频处理系统中的处理资源的处理能力和作业队列中流处理 作业的复杂度进行归一化，归一化可以降低了系统开发的难度，便于统一两种不同类型的 数据处理，从而可以根据归一化之后的处理资源的处理能力和流处理作业的复杂度，实现 作业调度处理，从而进一步实现视频分析处理资源的高效利用，减少系统资源的浪费损耗。 0018 进一步地，给出空闲处理资源供需平衡策略，为批处理作业合理地分配空闲处理 资源，同时采用资源抢占的方式，可以让高优先级的作业优先获得足够的资源，优先处理。 被抢占的作业，实际上就得降低计算速度，或者推迟计算。 0019 进一步地，通过资源紧张报警处。

19、理，可以对流处理作业采用资源抢占的方式时资 源仍然不够的问题及时响应。 0020 进一步地，对作业队列中相同优先级的多个作业采用先进先出（FIFO）的调度策略 进行调度，可以解决相同优先级的多个作业的调度问题。 附图说明 0021 图1是本发明第一实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 0022 图2是本发明第二实施方式中一种主从结构分布式视频处理系统的任务复杂度 和处理能力评估或者归一化方法的流程示意图； 0023 图3是本发明第二实施方式中一种处理能力值归一化的处理资源管理示意图； 0024 图4是本发明第二实施方式中一种任务复杂度归一化的任务管理示意图； 00。

20、25 图5是本发明第二实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 说 明 书CN 102866920 A 3/12页 7 0026 图6是本发明第二实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 0027 图7是本发明第二实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 0028 图8是本发明第二实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 0029 图9是本发明第二实施方式中一种主从结构分布式视频处理系统的调度方法的 流程示意图； 0030 图10是本发明第三实施方式中一种主从结构分布式视频处理系统的调度系统。

21、的 结构示意图； 0031 图11是本发明第四实施方式中一种主从结构分布式视频处理系统的调度系统的 结构示意图； 0032 图12是本发明第四实施方式中一种主从结构分布式视频处理系统的调度系统的 结构示意图； 0033 图13是本发明第四实施方式中一种主从结构分布式视频处理系统的调度系统的 结构示意图； 0034 图14是本发明第四实施方式中一种主从结构分布式视频处理系统的调度系统的 结构示意图。 具体实施方式 0035 在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本 领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化 和修改，也可以实现本。

22、申请各权利要求所要求保护的技术方案。 0036 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施 方式作进一步地详细描述。 0037 本发明第一实施方式涉及一种主从结构分布式视频处理系统的调度方法。图1是 该主从结构分布式视频处理系统的调度方法的流程示意图。该分布式视频处理系统包括用 于分布式处理的至少两个处理资源，该处理资源在分布式视频处理系统的处理节点上采用 分析算法进行任务处理。 0038 主从结构分布式视频处理系统的调度方法包括以下步骤： 0039 根据作业的预定优先级对分布式视频处理系统中的作业队列中待处理的作业进 行调度。 0040 对于批处理作业，则分配分布。

23、式视频处理系统中当前未被占用的最大处理能力值 的处理资源。 0041 对于流处理作业，则占用分布式视频处理系统中当前剩余处理能力值大于该作业 的任务复杂度且剩余处理能力值最小的处理资源。 0042 在主从结构分布式视频处理系统的任务复杂度和处理能力评估或归一化方法基 础之上，将批处理作业与流处理作业统一在分布式视频处理系统中调度处理，以及所处理 数据的类型多样化，不仅降低了系统的复杂度，而且提高了系统中处理资源的通用性，以及 说 明 书CN 102866920 A 4/12页 8 系统的高可用性。 0043 作为本发明的一个优选实施方式，具体地说，如图1所示，该主从结构分布式视频 处理系统的调。

24、度方法包括以下步骤： 0044 在步骤101中，根据作业的预定优先级对分布式视频处理系统中的作业队列中待 处理的作业进行调度。 0045 此后进入步骤102，判断被调度的当前优先级作业是批处理作业还是流处理作业。 0046 若是批处理作业，则进入步骤103。若是流处理作业，则进入步骤104。 0047 在步骤103中，若是批处理作业，则分配分布式视频处理系统中当前未被占用的 最大处理能力值的处理资源。 0048 此后结束本流程。 0049 在步骤104中，若是流处理作业，则占用分布式视频处理系统中当前剩余处理能 力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 0050 此后结束本流。

25、程。 0051 本发明第二实施方式涉及一种主从结构分布式视频处理系统的调度方法。图2是 该主从结构分布式视频处理系统的任务复杂度和处理能力评估或者归一化方法的流程示 意图。 0052 第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：对分布 式视频处理系统中的处理资源的处理能力和作业队列中待处理的流处理作业的复杂度进 行归一化，从而可以根据归一化之后的处理资源的处理能力和流处理作业的复杂度，实现 作业调度处理，从而进一步实现视频分析处理资源的高效利用，减少系统资源的浪费损耗。 给出空闲处理资源供需平衡策略，为待处理的批处理作业合理地分配空闲处理资源，同时 采用资源抢占的方式，可以。

26、让高优先级的作业优先获得足够的资源，优先处理。被抢占的作 业，实际上就得降低计算速度，或者推迟计算。通过资源紧张报警处理，可以对流处理作业 采用资源抢占的方式时资源仍然不够的问题及时响应。对作业队列中相同优先级的多个作 业采用先进先出的调度策略进行调度，可以解决相同优先级的多个作业的调度问题。具体 地说： 0053 在根据作业的预定优先级对分布式视频处理系统中的作业队列中待处理的作业 进行调度的步骤之前，还包括以下步骤： 0054 对分布式视频处理系统中的处理资源的处理能力和作业队列中待处理的流处理 作业的复杂度进行归一化。 0055 此外，可以理解，作为本发明的一个优选实施方式，本发明中的处。

27、理资源可以称为 计算机资源，该计算机资源分为中央处理器（Central Processing Unit，简称“CPU”）和内 存资源。视频监控领域中智能视频分析的应用场景可以分为： 0056 1）分析历史数据（即录像文件批处理)。 0057 2）分析实时数据（即实时码流处理）。 0058 录像文件批处理任务是属于CPU密集型任务，该任务的宗旨是尽一切可能最大速 度地进行数据处理。 0059 实时码流处理任务，由于处理数据是实时生成的，且其生成速度远小于CPU的计 算速度，因此在一定的时间间隔内，CPU处理完实时数据之后，距离下一次数据生成还有大 说 明 书CN 102866920 A 5/12。

28、页 9 量的空闲时间，现有常用视频处理算法例如车牌识别、人脸识别、行为分析等就是这样的。 为了避免系统资源的浪费，在处理实时码流时，CPU应该处理多个任务。 0060 假设1：不同的型号的处理器，其计算能力是不同的。在内存足够的情况下，假设 任务A和任务B使用同样的算法分别运行在处理器a和处理器b上，如果任务A花费的时 间是i，而任务B花费的时间是j，我们认为，处理器a的能力和处理器b的能力比例是j/i。 0061 假设2：运行不同的智能视频分析算法，批处理任务的复杂度是不同的。在内存足 够的情况下，假设在同样的软硬件环境下，同类型的任务A和任务B分别使用不同的算法a 和算法b处理同样的数据，。

29、如果任务A花费的时间是m，而任务B花费的时间是n，我们认为， 批处理任务A与批处理任务B的复杂度比例是m/n。 0062 假设3：不同类型的实时码流处理任务，运行同样的智能视频分析算法，复杂度是 不同的。在内存足够的情况下，假设处理器c上能够同时运行m个使用算法a的实时码流 处理任务A，处理器c上能够同时运行n个使用算法b的实时码流处理任务B，我们认为任 务A与任务B的复杂度比例是n/m。 0063 在进行任务复杂度和计算资源或处理资源的归一化的过程中，先以某一较低端型 号的处理器和一种复杂度最低的智能视频分析算法为基准，分别对系统选定的主流处理器 和系统支持的视频智能分析算法按照假设1、假设。

30、2和假设3进行测试。再对得出的测试 数据按照基准数据进行归一化。例如，假设算法a是复杂度最低的智能视频分析算法，以 intel386型cpu为基准，如果任务A使用算法a在intel386上处理1M的基准数据花费的 时间是x，任务B使用算法b在该型cpu上运行消耗的时间是y，任务C使用算法a在处理 器K上运行消耗的时间是z，那么我们认为系统最低处理器能力为x，最简单算法计算复杂 度为x，算法b的复杂度为y，处理器K的能力为z。假设系统选定的cpu型号有m种，系统 支持的智能视频分析算法有n种，最低经过m*n轮测试，可以得到归一化的处理器能力和算 法复杂度度量。这样，系统中的资源管理器就可以按照如。

31、图3所示的方式维护整个系统的 所有计算资源或处理资源，同理，每个作业包含的任务也可按照如图4所示的方式维护所 有任务信息或者任务复杂度。 0064 作为本发明的另一个优选实施方式，具体地说，如图2所示，对分布式视频处理系 统中的处理资源的处理能力和作业队列中待处理的流处理作业的复杂度进行归一化或评 估的方法，包括以下步骤： 0065 在步骤201中，选取分布式视频处理系统中处理能力最低的处理资源和任务复杂 度最低的分析算法。 0066 此后进入步骤202，计算分布式视频处理系统最低处理能力和最简单算法复杂度， 即将第一任务使用任务复杂度最低的分析算法在处理能力最低的处理资源上处理的基准 数据需。

32、要的时间作为分布式视频处理系统最低处理能力和最简单算法复杂度。 0067 此后进入步骤203，将与第一任务同类型的第二任务使用系统中其他各个分析算 法在处理能力最低的处理资源上处理的基准数据所需要的时间分别作为这些分析算法的 任务复杂度。 0068 此后进入步骤204，将与第一任务同类型的第三任务使用复杂度最低的分析算法 在系统中各个处理资源上处理的基准数据需要的时间分别作为这些处理资源的处理能力。 0069 此后结束本流程。 说 明 书CN 102866920 A 6/12页 10 0070 当然，选取归一化的基准量可以但并不局限于处理能力最低的处理资源和任务复 杂度最低的分析算法，也可以选。

33、取相应度量值的处理能力的处理资源和任务复杂度的分析 算法，比如处理能力最强的处理资源和任务复杂度最大的分析算法，只要实现该分布式视 频处理系统中的处理资源和采用分析算法的流处理作业的复杂度的归一化即可。 0071 如图5所示，对于批处理作业，则分配分布式视频处理系统中当前未被占用的最 大处理能力值的处理资源的步骤，具体地说，包括以下子步骤： 0072 在步骤501中，获得当前优先级队列中待处理的批处理作业数目m，m为正整数。 0073 此后进入步骤502，从该分布式视频处理系统中，获得当前最大处理能力值的空闲 处理资源数n，n为正整数。 0074 此后进入步骤503，将平均值n/m取整结果为j。

34、，其中，j为自然数。 0075 此后进入步骤504，判断当前优先级队列中待处理的批处理作业需求的空闲处理 资源数是否大于j。 0076 若大于，则进入步骤507。否则进入步骤505。 0077 在步骤505中，若当前优先级队列中待处理的批处理作业需求的空闲处理资源数 大于j，则先为该批处理作业分配j个空闲处理资源数。 0078 此后进入步骤506，进行空闲处理资源抢占。 0079 在本发明的部分实施方式中，空闲处理资源是否抢占等策略等问题都是可配置 的，并非必须的。 0080 此后结束本流程。 0081 在步骤507中，若当前优先级队列中待处理的批处理作业需求的空闲处理资源数 小于等于j，则为。

35、该批处理作业分配所需求的空闲处理资源数。 0082 此后结束本流程。 0083 作为本发明的另一个优选实施方式，如图6所示，在上述进行空闲处理资源抢占 的步骤506之后，还包括以下步骤： 0084 在步骤601中，判断在预定的时间内处理资源是否抢占成功。 0085 若是，则进入步骤604。否则进入步骤602。 0086 在步骤602中，若在预定的时间内处理资源抢占不成功，则结束本轮调度。 0087 此后进入步骤603，进行资源紧张报警处理。 0088 此后结束本流程。 0089 在步骤604中，若在预定的时间内处理资源抢占成功，则将抢占到的空闲处理资 源分配给待处理的批处理作业进行任务处理。 。

36、0090 此后结束本流程。 0091 作为本发明的另一个优选实施方式，如图7所示，该主从结构分布式视频处理系 统的调度方法对批处理作业任务进行处理，包括以下步骤： 0092 在步骤701中，获取当前优先级队列中的批处理作业全部任务信息。 0093 此后进入步骤702，判断该作业所处的执行阶段是归并阶段还是映射阶段。 0094 若是映射阶段，则进入步骤703；否则进入步骤706。 0095 在步骤703中，当该作业所处的执行阶段为映射阶段时，则获取系统中可用计算 资源的数目。 说 明 书CN 102866920 A 10 7/12页 11 0096 本实施例中所述的批处理作业所处的执行阶段是归并。

37、阶段还是映射阶段的判断 不是必须的，不进行判断也是可以的，而且该归并阶段和映射阶段所涉及的思想可以是基 于谷歌Goolge提出的归并映射mapreduce原理，也可以不基于该原理。 0097 此后进入步骤704，根据平均分配原则计算该作业所需要分配的资源数目。 0098 此后进入步骤705，设置未调度的映射任务为调度任务队列。 0099 此后进入步骤709。 0100 在步骤706中，当该作业所处的执行阶段为归并阶段时，则遍历待调度切片队列。 0101 此后进入步骤707，遍历待调度归并任务队列。 0102 此后进入步骤708，设置未调度的归并任务为调度任务队列。 0103 此后进入步骤709。

38、。 0104 在步骤709中，遍历调度任务队列。 0105 此后进入步骤710，判断该遍历是否结束。 0106 若是，则进入步骤717。否则进入步骤711。 0107 在步骤711中，申请计算资源或者处理资源。 0108 此后进入步骤712，判断所申请的计算资源或者处理资源是否有效。 0109 若是，则进入步骤713。否则进入步骤714。 0110 在步骤713中，向计算节点发送启动任务指令。 0111 此后进入步骤716。 0112 在步骤714中，当所申请的计算资源或者处理资源无效时，抢占计算资源。 0113 此后进入步骤715，停止使用计算资源的任务。 0114 此后进入步骤716，转到。

39、当前任务队列中下一个任务进行处理。 0115 此后返回步骤709，继续遍历调度任务队列。 0116 在步骤717中，当当前任务队列遍历结束时，继续申请系统中的计算资源或者处 理资源。 0117 此后结束本流程。 0118 对于流处理作业，则占用分布式视频处理系统中当前剩余处理能力值大于该作业 的任务复杂度且剩余处理能力值最小的处理资源的步骤之后，还包括以下步骤： 0119 判断流处理作业是否成功占用到分布式视频处理系统中当前剩余处理能力值大 于该作业的任务复杂度且剩余处理能力值最小的处理资源； 0120 若没有成功占用到，流处理作业则预订并占用当前正在被抢占的分布式视频处 理系统中当前剩余处理。

40、能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资 源； 0121 判断流处理作业是否全部成功占用到所需要的处理资源数； 0122 若没有，流处理作业则发出所需要剩余的处理资源抢占请求，并预订和占用当前 分布式视频处理系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值 最小的处理资源； 0123 若流处理作业发出所需要剩余的处理资源抢占请求后，没有成功预订和占用到当 前正在被抢占的分布式视频处理系统中当前剩余处理能力值大于该作业的任务复杂度且 剩余处理能力值最小的处理资源，则进行资源报警处理。 说 明 书CN 102866920 A 11 8/12页 12 0124 此外，可。

41、以理解，具体地说，如图8所示，在上述若是流处理作业，则占用分布式视 频处理系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处 理资源的步骤104之后，还包括以下步骤： 0125 在步骤801中，判断流处理作业是否全部成功占用到所需要的分布式视频处理系 统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 0126 若是，则结束本流程；否则进入步骤802。 0127 在步骤802中，若流处理作业没有全部成功占用到所需要的处理资源，则发出所 需要剩余的处理资源抢占请求。 0128 此后进入步骤803，根据抢占请求，预订并占用当前正在被抢占的分布式视频处理。

42、 系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 0129 此后进入步骤804，判断是否成功预订和占用。 0130 若是，则结束本流程；否则进入步骤805。 0131 在步骤805中，若发出所需要剩余的处理资源抢占请求后，没有成功预订和占用 到所需要的当前正在被抢占的分布式视频处理系统中当前剩余处理能力值大于该作业的 任务复杂度且剩余处理能力值最小的处理资源，则进行资源报警处理。 0132 作为本发明的另一个优选例子，如图9所示，该主从结构分布式视频处理系统的 调度方法对流处理作业任务进行处理，包括以下步骤： 0133 在步骤901中，获取流处理作业作业任务详细。

43、信息。 0134 此后进入步骤902，遍历待调度的任务队列。 0135 此后进入步骤903，判断当前待调度的任务队列是否遍历完毕。 0136 若是，则进入步骤915。否则进入步骤904。 0137 在步骤904中，获取当前任务队列中任务详细信息。 0138 此后进入步骤905，判断当前任务状态。 0139 若是要求停止，则进入步骤913。若是要求开始，则进入步骤906。 0140 在步骤906中，申请系统中空闲的计算资源或处理资源。 0141 此后进入步骤907，判断所申请的计算资源或者处理资源是否有效。 0142 若是，则进入步骤912。否则进入步骤908。 0143 在步骤908中，获取作。

44、业预定的计算资源。 0144 此后进入步骤909，判断该预定的计算资源是否有效。 0145 若是，则进入步骤914。否则进入步骤910。 0146 在步骤910中，若该预定的计算资源无效，则抢占系统中的其他计算资源。 0147 此后进入步骤911，停止使用计算资源的任务。 0148 此后进入步骤914。 0149 在步骤912中，向计算机发送启动任务指令。 0150 此后进入步骤914。 0151 在步骤913中，向计算节点发送停止任务指令。 0152 此后进入步骤914，转到下一个任务。 0153 此后返回步骤902。 0154 在步骤915中，若当前待调度的任务队列遍历完毕，则返回调度结果。

45、。 说 明 书CN 102866920 A 12 9/12页 13 0155 此后结束本流程。 0156 根据作业的预定优先级对分布式视频处理系统中作业队列中待处理的作业进行 调度的步骤，包括以下子步骤： 0157 对于作业队列中相同优先级的多个作业，采用先进先出策略进行作业调度。或者 0158 对于作业队列中不同优先级的多个作业，根据作业优先级的高低进行调度。 0159 此外，分布式计算资源管理器根据分布式系统中集群计算机信息维护一个计算资 源池或处理资源池。在分布式智能视频分析系统中，每个作业拥有一个用户指定的优先级， 调度器根据不同的优先级进行调度。调度器根据系统支持的最大优先级数目维护。

46、多个作业 队列，不同优先级的作业在对应的作业队列中排队等候调度，具有相同优先级的作业之间 遵循先入先出的原则。调度器按照优先级大小对作业队列中的作业逐一进行调度。 0160 本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是 以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储 器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的 或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable Array Logic，简称“PAL”）、随机存取存储器（Random Access Memory，简。

47、称“RAM”）、可编程只读存 储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简 称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称 “EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。 0161 本发明第三实施方式涉及一种主从结构分布式视频处理系统的调度系统。图10 是该主从结构分布式视频处理系统的调度系统的结构示意图。该分布式视频处理系统包括 用于分布式处理的至少两个处理资。

48、源，该处理资源在分布式视频处理系统的处理节点上采 用分析算法进行任务处理。 0162 具体地说，如图10所示，该主从结构分布式视频处理系统的调度系统包括： 0163 调度器，用于根据作业的预定优先级及作业类型对分布式视频处理系统中的作业 队列中的作业进行调度。 0164 第一资源分配单元，用于对于批处理作业，分配分布式视频处理系统中当前未被 占用的最大处理能力值的处理资源。 0165 第二资源分配单元，用于对于流处理作业，占用分布式视频处理系统中当前剩余 处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。 0166 在主从结构分布式视频处理系统的任务复杂度和处理能力评估方法基础之上，将 批处理作业与流处理作业统一在分布式视频处理系统中调度处理，以及所处理数据的类型 多样化，不仅降低了系统的复杂度，而且提高了系统中处理资源的通用性，以及系统的高可 用性。 0167 第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施 方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了 减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施 方式中。 0168 本发明第四实施方式涉及一种主从结构分布式视频处理系统的调度系统。图11 是该主从结构分。