基于视频的电梯门检测系统和方法.pdf

摘要
申请专利号：	CN200880129417.0	申请日：	2008.05.22
公开号：	CN102036899A	公开日：	2011.04.27
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):B66B 13/14申请日:20080522\|\|\|公开
IPC分类号：	B66B13/14; B66B13/26; G06T7/00	主分类号：	B66B13/14
申请人：	奥蒂斯电梯公司
发明人：	E·张; F·陈; Z·曹; Z·贾; P·彭
地址：	美国康涅狄格州
优先权：
专利代理机构：	中国专利代理(香港)有限公司 72001	代理人：	朱海煜;王忠忠
PDF下载：	PDF下载

内容摘要

基于视频的系统基于由一个或多个视频检测器(16、18)提供的视频数据检测电梯门(14a、14b)的位置。基于检测到的电梯门(14a、14b)的位置，电梯门(14a、14b)之间的距离可以确定。电梯门(14a、14b)的操作至少部分基于检测到的电梯门(14a、14b)之间的距离来控制。

权利要求书

1：一种控制电梯轿厢的电梯门的操作的方法，所述方法包括：采集由个体帧构成的视频数据；基于所采集的视频数据检测所述电梯门的位置；基于所检测到的所述电梯门的位置确定所述电梯门之间的距离；以及至少部分基于所确定的所述电梯门之间的距离控制所述电梯门的操作。
2：如权利要求 1 所述的方法，其中基于所采集的视频数据检测所述电梯门的位置包括：应用基于线条的方法、基于标记的方法或其组合以检测所述电梯门的位置。
3：如权利要求 2 所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：检测在采集的视频数据的每个帧内的边缘；以及基于所检测到的边缘检测直线。
4：如权利要求 3 所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：省略检测到的在预计角度范围外的角度出现的直线；以及将所述预计角度范围内出现的剩余直线合并为合并线条。
5：如权利要采 4 所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：基于所述合并线条的位置确定限定所述电梯门的位置的所述电梯门的最左边和最右边边缘。
6：如权利要求 2 所述的方法，其中基于所述基于标记的方法检测所述电梯门的位置进一步包括：检测放置在所述电梯门中的每个上的标记；以及基于所检测到的标记确定所述电梯门的位置。
7：如权利要求 1 所述的方法，进一步包括：基于在所述视频数据的连续帧中所确定的所述电梯门之间的距离来确定与所述电梯门关联的当前状态；以及另外基于所确定的所述电梯门的状态控制所述电梯门的操作。
8：如权利要求 1 所述的方法，进一步包括：基于在所述视频数据的连续帧中检测到的人的位置来检测走近或离开所述电梯轿厢的人的存在。
9：如权利要求 8 所述的方法，其中基于在所述视频数据的连续帧中检测到的人的位置来检测走近或离开所述电梯轿厢的人的存在包括：指派第一时间戳给所述视频数据的第一帧内的每个像素；检测视频数据的第二或随后帧中的像素的不同；指派第二时间戳给指示视频数据的第一帧和视频数据的第二或随后帧之间的不同的像素；以及基于所述时间戳之间的梯度指派移动反向，其中所指派的方向从时间上较早的时间戳指向时间上较晚的时间戳。 2
10：如权利要求 9 所述的方法，进一步包括：检测走近或离开所述电梯车厢的人，其中控制所述电梯门的状态包括至少部分基于走近或离开所述电梯轿厢的人的检测将所述电梯门的状态从门正在关闭状态改变到门正在打开状态。
11：如权利要求 1 所述的方法，其中控制所述电梯门操作包括控制所述电梯门的状态和在所述电梯门正在打开和 / 或正在关闭期间与所述电梯门关联的速度，并且其中所述电梯门的速度至少部分基于所确定的所述电梯门之间的距离来控制。
12：一种用于基于视频数据控制电梯门操作的系统，所述系统包括：至少一个视频检测器，其配置成采集并且传送采用多个图像的形式的视频数据；可操作式地连接以从所述至少一个视频检测器接收所述视频数据的视频识别系统，其中所述视频识别系统可操作成：基于所采集的视频数据检测所述电梯门的位置；以及基于对于多个帧中的每个所检测到的所述电梯门位置确定所述门之间的距离，以及可操作式地连接以接收由所述视频识别系统确定的所述距离数据的电梯控制器，其中所述电梯控制器配置成至少部分基于所确定的所述电梯门之间的距离控制所述电梯门的操作。
13：如权利要求 12 所述的系统，其中所述视频识别系统配置成通过采用基于线条的方法、基于标记的方法或其组合检测所述电梯门的位置。
14：如权利要求 12 所述的系统，其中所述电梯控制器配置成至少部分基于由所述视频识别系统确定的所述距离来控制与所述电梯门的打开和 / 或关闭关联的速度。
15：如权利要求 12 所述的系统，其中所述电梯控制器配置成基于在所述视频数据的连续帧中确定的所述距离来确定与所述电梯门关联的当前状态。
16：如权利要求 15 所述的系统，其中所述电梯控制器配置成基于所确定的所述电梯门的状态控制所述电梯门维持在打开或关闭状态的时间长度。
17：如权利要求 12 所述的系统，其中所述视频识别系统可操作成检测走近或离开所述电梯轿厢的人的存在。
18：如权利要求 17 所述的系统，其中所述视频识别系统进一步可操作成基于视频数据的连续帧检测与所检测到的人关联的方向。
19：如权利要求 18 所述的系统，其中所述电梯控制器配置成至少部分基于所检测到的走近或离开所述电梯轿厢的人的存在来控制所述电梯门的操作。
20：一种视频识别系统，其包括：用于接收由视频检测器捕捉的视频数据的部件；用于基于所述视频数据检测在所述视频检测器的视场内的电梯门的门框边缘的部件；用于基于所检测到的门框边缘确定所述电梯门之间的距离的部件；以及用于基于所确定的在所述电梯门之间的距离产生输出的部件。
21：如权利要求 20 所述的视频识别系统，其中用于检测所述电梯门的位置的部件包括：配置成检测在所接收的视频数据内的边缘的边缘检测器；配置成检测在所检测到的边缘内的直线的线条检测器； 3 配置成选择出现在可允许角度范围内的所检测到的直线中的一条或多条的线条选择器；配置成将所选择的直线的不连续部分合并的线条合并器；以及配置成从所合并的直线中选择代表所述电梯门的门框边缘的一条或多条线条的门边缘检测器。
22：如权利要求 20 所述的视频识别系统，其中用于基于所检测到的门框边缘来确定所述电梯门之间的距离的部件包括：配置成基于位于所检测到的门框边缘之间的像素的数量来确定所检测到的门框边缘之间的距离的距离确定装置。

说明书

基于视频的电梯门检测系统和方法
    【技术领域】
     本公开涉及电梯门检测，并且特别地涉及检测电梯门位置的计算机视觉方法。背景技术电梯门控制是电梯安全的重要方面。已经开发多种传感器和系统来感测电梯门的位置，以及检测将阻止电梯门关闭的任何障碍物。传统上，安装在每个电梯轿厢内的红外传感器或接近传感器向控制器提供关于门的位置和在门之间是否检测到任何障碍物的反馈。然而，这些系统要求在电梯内安装专用传感器，并且招致与维持传感器的运行状态关联的费用。
     另外，建筑日益依赖视频监控以提供建筑安全、进入控制和其他功能。作为这些系统的部分，在电梯轿厢中或临近电梯轿厢包括视频监控变得日益常见。因此，开发可以利用在这些建筑中已经采用的视频监控装置以提供安全和高效地控制电梯门操作所必需的反馈而不使用专用传感器的系统将是有益的。
     发明内容本发明的实施例解决控制电梯轿厢的电梯门的操作的方法。除其他可能的步骤外，该方法还包括：采集由个体帧构成的视频数据；基于采集的视频数据检测电梯门的位置；基于检测到的电梯门位置确定电梯门之间的距离；并且至少部分基于确定的电梯门之间的距离控制电梯门的操作。
     本发明的另一个实施例解决用于基于视频数据控制电梯门操作的系统。除其他可能的事物外，该系统还包括：至少一个视频检测器；视频识别系统；以及电梯控制器。该至少一个视频检测器配置成采集并且传送采用多个图像的形式的视频数据。该视频识别系统可操作式地连接以从该至少一个视频检测器接收视频数据。该视频识别系统可操作成：基于采集的视频数据检测电梯门的位置；以及对多个帧中的每个基于检测到的电梯门位置确定门之间的距离。该电梯控制器：可操作式地连接以接收由视频识别系统确定的距离；并且配置成至少部分基于确定的电梯门之间的距离控制电梯门的操作。
     要理解前述一般说明和下列详细说明是仅示范性和说明性的，并且不是对权利要求保护的本发明的限制。
     附图说明本发明的这些和其他特征、方面和优势将从下列说明、附上的权利要求和在图 ( 其在后面简短描述 ) 中示出的附随示范性实施例变得明显。
     图 1 是根据本发明的实施例的电梯系统的透视图，其包括放置以监测电梯门操作的视频装置。
     图 2 是由在图 1 中示出的实施例的电梯系统采用的部件的框图，该部件用于采集视频数据、处理视频数据并且向门控制器提供期望反馈。
     图 3A 是图示由视频识别系统执行以检测电梯门的位置的功能的示范性实施例的图 3B 是图示使用关于图 3A 描述的功能的电梯门检测的视频数据的样本帧。图 4 是包括简化电梯门的边缘检测所采用的独特标记的电梯门的侧视图。图 5A 和 5B 是图示使用在图 4 中示出的独特标记的电梯门检测的视频数据的样本框图。
     帧。图 6A 是图示由视频识别系统执行以检测走近或离开电梯轿厢的人的存在的功能的示范性实施例的框图。
     图 6B 是图示使用关于图 6A 描述的功能的人检测的视频数据的样本帧。
     具体实施方式
     已经做出努力在所有图中对相同或相似的部件使用相同或相似的标号。
     本发明提供基于由一个或多个光学灵敏装置 ( 例如摄像机等 ) 提供的视频输入的电梯门检测，该光学灵敏装置连续捕捉并且实时传送图像 ( 在下文中称为视频检测器 )。该视频输入通过计算机方法分析以检测电梯门或多个电梯门的边缘。基于该门边缘的检测，可以对分析的每个帧来确定门边缘之间的距离。进而，检测到的门距离用于推断电梯门的状态 ( 例如，门打开、门关闭、门正在打开、门正在关闭 )。检测到的门边缘之间的距离以及电梯门的推断状态作为反馈提供给电梯门控制器。基于这些输入以及任何附加输入，电梯门控制器生成指令以安全并且高效地控制电梯门的操作。图 1 是电梯系统 10 的透视图，其包括电梯轿厢 12、电梯轿厢门 14a 和 14b、第一视频检测器 16 和第二视频检测器 18。在该实施例中，第一视频检测器 16 位于电梯轿厢 12 的后壁上并且放置以用于监测电梯门 14a 和 14b 的打开和关闭。第二视频检测器 18 位于电梯轿厢 12 的天花板上并且也放置 ( 尽管从稍稍不同的视角 ) 以用于监测电梯门 14a 和 14b 的打开和关闭。在许多实施例中，第一视频检测器 16 和第二视频检测器 18 用作彼此的备选项，但它们可互相结合使用以提供更鲁棒的结果或解决一个视频检测器被遮挡的情况。另外，基于轿厢的视频检测器 16、 18( 其可主要用于检测轿厢门 14a、 14b 的位置 ) 中的任一或两者可与一个或多个相似的基于登陆处 (landing) 的视频检测器 ( 没有示出 )( 其可主要用于检测登陆处的特定井道入口的井道门 ( 没有示出 ) 的位置 ) 结合使用。
     在示范性实施例中，第一视频检测器 16 和第二视频检测器 18 是监控型拍摄装置 (camera)，能够提供由多个连续视频帧构成的视频输入。视频检测器可包括摄像机或其他视频数据捕捉装置。术语视频输入一般用于指表示两个或三个空间维度的视频数据以及限定时间维度的连续帧。
     基于由视频检测器 16 和 / 或 18 提供的视频输入，计算机视觉技术应用于采集的视频输入以便检测电梯门 14a 和 14b 的位置 ( 关于图 3A-5B 更详细地描述 )。基于检测到的电梯门位置，可以确定相应电梯门之间或在单门应用中相应电梯门和该电梯门的侧边之间的距离 d。通过分析提供的视频输入的连续帧，电梯门 14a 和 14b 之间的距离 d 随时间的变化 (Δd/Δt) 可以用于推断电梯门的状态。为了该说明的目的，有四个与电梯门控制关联的相关状态，包括： ‘门关闭’ 、 ‘门正在打开’ 、 ‘门打开’ 和 ‘门正在关闭’ 。从而，在连续帧上检测到的距离 d 的减小指示电梯门 14a 和 14b 处于关闭的过程中。同样地，在连续帧上
     检测到的距离 d 的增加指示电梯门 14a 和 14b 处于打开的过程中。除采用视频数据确定电梯门 14a、 14b 之间的距离 d 和电梯门的状态外，视频输入还可被分析以确定走近或离开电梯轿厢的人的存在 ( 关于图 6A 和 6B 更详细地描述 )。这样，视频输入用于提供关于电梯门的状态的反馈。如关于图 2 描述的，该反馈用于安全并且高效地控制电梯门 14a 和 14b 的操作。
     图 2 是电梯控制系统 20 的功能框，其包括视频检测器 16 和 18、视频识别系统 22 和电梯门控制器 24。由第一视频检测器 16 和 / 或第二视频检测器 18 捕捉的视频输入提供给视频识别系统 22 用于分析。
     视频识别系统 22 包括分析由视频检测器提供的视频数据所必需的硬件和软件的组合。由视频检测器 16、 18 中的一个或多个的视频提供可借助于许多手段中的任一个，例如硬线连接、在专用无线网络上、在共享无线网络上等。包括在视频识别系统 22 内的硬件包括但不限于微处理器 ( 没有示出 ) 以及存储器 ( 没有示出 )。包括在视频识别系统 22 内的软件可包括视频内容分析软件，其关于在图 3A 和 6A 中示出的功能更详细地描述。
     特别地，视频识别系统 22 分析由视频检测器 16 和 / 或 18 提供的视频输入并且产生作为反馈提供给电梯控制器 24 的输出。在示范性实施例中，视频识别系统 22 分析视频输入以检测与电梯门 14a 和 14b 关联的边缘 ( 如在图 1 中示出的 )。在一个示范性实施例中基于线条的方法 ( 关于图 3A 和 3B 详细描述 ) 由视频识别系统 22 采用以检测表示电梯门 14a 和 14b 的边缘的线条。基于检测到的电梯门 14a 和 14b 的边缘，门之间的距离 d 以及电梯门的状态可以如之前论述的那样确定。在另一个示范性实施例中，其可单独或与基于线条的方法结合使用，基于标记的方法 ( 关于图 4-5B 详细描述 ) 可由视频识别系统 22 采用以检测靠近每个电梯门的边缘放置的独特标记。基于检测到的标记，门 14a、 14b 之间的距离以及电梯门的状态可以如之前论述的那样确定。
     在另一个示范性实施例中，除检测电梯门 14a 和 14b 的边缘外，视频识别系统 22 分析由视频检测器 16 和 / 或 18 提供的视频输入以检测走近或离开电梯轿厢 12 的人的存在。在示范性实施例 ( 关于图 6A 和 6B 更详细描述的 ) 中，视频识别系统 22 采用差分运算 (differenceoperation) 和时间戳以检测在电梯轿厢 12 中和其周围的人的存在和方向。
     由视频识别系统 22 产生的输出 ( 包括检测到的电梯门之间的距离 d 和 / 或检测到的走近或离开电梯轿厢 12 的人的存在 ) 作为反馈提供给电梯门控制器 24。电梯门控制器 24 包括用于确定电梯门 14a、 14b 的状态和用于生成基于从视频识别系统 22 接收的反馈来控制电梯门的操作的控制指令的硬件和软件的组合。再一次，视频识别系统 22 将反馈提供给门控制器 24 所借助的提供方式可借助许多手段中的任一个，包括借助于硬线连接、在专用无线网络上、在共享无线网络上等。门控制器 24 还可更简单地表示为基于由视频识别系统 22 提供的反馈来提供输出 ( 在该情况下，是电梯门控制信号 ) 的决策逻辑。
     门控制器 24 生成指令以控制例如电梯门 14a 和 14b 维持在打开或关闭状态的时间长度、电梯门 14a 和 14b 打开或关闭的速度等方面。这些操作基于 ( 部分地 ) 从视频识别系统 22 接收的反馈。例如，当正在关闭电梯门时，最初用相对快的速度关闭门并且然后当门接近完全关闭状态时减小电梯门的速度是典型可取的。这样，关闭电梯门需要的总时间最小化。从而，如果由视频识别系统 22 提供的反馈最初指示电梯门 14a 和 14b 之间的距离 d 是大的 ( 即，门是打开的 )，那么门控制器 24 将生成控制指令，其使电梯门 14a 和 14b相对快速地关闭。当由视频识别系统 22 提供的反馈指示电梯门 14a 和 14b 之间的距离 d 已经减小时，门控制器 24 生成指令以减小电梯门的速度直到反馈指示门处于关闭状态。这样，关闭电梯门 14a 和 14b 花费的时间量减小。
     在另一个示例中，从视频识别系统 22 接收的、指示走近或离开电梯轿厢 12 的人的存在的反馈由门控制器 24 采用以控制电梯门 14a 和 14b 的操作。例如，响应于视频识别系统 22 检测到走近电梯轿厢 12 的一个或多个人的存在，门控制器 24 可维持电梯门 14a 和 14b 处于门打开状态长达一延长的时间段以允许检测到的人进入电梯轿厢 12。另外，门控制器 24 可响应于检测到走近或离开电梯轿厢 12 的人来改变电梯门 14a 和 14b 的状态。例如，响应于视频识别系统 22 检测到走近电梯轿厢 12 的人的存在，门控制器可将电梯门 14a 和 14b 的状态从门正在关闭状态改变到门正在打开状态以给该人提供时间以进入电梯轿厢 12。在其他实施例中，相似的操作响应于指示人正离开电梯轿厢 12 的反馈或响应于检测到位于电梯门 14a 和 14b 之间的障碍物来执行。
     图 3A 图示由视频识别系统 22 执行的功能或计算的示范性实施例。图 3B 提供以图形地图示在图 3A 中执行的功能的结果。然而，应该注意到在图 3B 中示出的样本图像用于说明性目的，并且不反映由视频识别系统 22 产生的实际输出。如在图 3A 中示出的，视频识别系统 22 执行关于由视频检测器 16 和 / 或 18 提供的视频图像的下列功能，包括：在每个图像内检测边缘，基于图像数据检测直线；省略确定为在错误角出现的线条，合并剩余的线条为直线，选择性地确定剩余线条中的哪些线条表示门框边缘，并且确定门框边缘之间的实际距离 d。
     从而，视频识别系统 22 从一个或多个视频检测器 16、 18 接收视频输入。为了该说明的目的，假定提供给视频识别系统 22 的视频输入是采用数字格式，但在其中由一个或多个视频检测器产生的视频输入是模拟的实施例中，将需要附加模数转换器以格式化图像使得计算机系统可以对它们操作。该转换可在视频检测器它们自己内执行，或可由视频识别系统 22 作为第一步骤 ( 没有示出 ) 执行。
     另外，由视频识别系统 22 操作的视频输入由许多个体帧构成。在示范性实施例中，这些帧存储到缓冲器 ( 没有示出 )。由视频识别系统 22 执行的功能然后可应用于连续存储到缓冲器的每个帧，或可应用于被一些预定数量的不由视频识别系统 22 分析的中间帧分开的帧。
     在步骤 30，视频识别系统 22 通过在正在分析的图像帧内检测边缘而开始分析。在示范性实施例中，众所周知的坎尼边缘检测算子 (Canny edge detection operator) 被采用以在图像内检测边缘。取决于视频识别系统 22 的处理能力，以及需要的响应时间，可采用坎尼算子的不同变型。特别地，用于减少噪声所采用的滤波器和用于检测特定边缘所使用的阈值可以选择为提供期望的响应。
     例如，在图像 42( 如在图 3B 中示出的 ) 上执行的边缘检测导致视频识别系统 22 检测在图像 44 中示出的边缘。如在图像 44 中示出的，边缘检测导致直和弯曲边缘两者的检测。
     基于电梯门的边缘将一直是直线的知识，在步骤 32，视频识别系统 22 分离在步骤 30 检测到的边缘内的直线。在示范性实施例中，众所周知的霍夫变换被采用以区分直线和曲线。霍夫变换分析在之前的步骤中识别为边缘的点集，并且特别地，采用表决过程
     (voting process) 以确定该点集是否构成直线。另外，在步骤 34 利用电梯门相对于视频检测器的位置的知识来省略在预计范围外的角度出现的直线。例如，基于视频检测相机 16 的位置 ( 如在图 1 中示出的 )，将省略在水平角度出现的直线。
     例如，在图像 44( 如在图 3B 中示出的 ) 上执行的线条检测和非竖直线条的省略导致视频识别系统 22 检测在图像 46 中示出的直线 ( 如由识别的直线的粗体指示的 )。该图像图示线条识别和在限定范围外出现的线条的省略两者的效果，使得剩余的线条是用于限定电梯门的边缘的良好候选者。剩余的直线可是例如检测到的轿厢 12 的角落和 / 或轿厢 12 的壁的边缘。
     在步骤 36，在步骤 32 和 34 识别的直的、竖直的 ( 或近乎竖直的 ) 线条合并以形成长直线。即，位于沿相同平面的不连续线条将合并为长的单条线条。在示范性实施例中，动态聚类法用于将不连续的线条合并为单条线条。
     例如，在图像 46( 如在图 3B 中示出的 ) 上执行的不连续线条的合并导致视频识别系统 22 产生在图像 48 中示出的长直线 ( 再次，由长直线的粗体指示 )。在该示例中，若干长直线已经识别，因此存在若干候选者，针对这些线条中的哪些线条代表电梯门的边缘来从这些候选者中选择。
     在步骤 38，视频识别系统 22 从在步骤 36 产生的长直线中选择以代表电梯门的边缘。在示范性实施例中，最左边和最右边的长直线选择作为代表电梯门的边缘。在其他实施例中，附加输入可结合在检测门边缘的位置的步骤中，包括门的当前状态 ( 例如，门打开、门关闭、门正在打开、门正在关闭等 ) 和之前检测到的门的位置 ( 例如，在之前帧中检测到的边缘的位置 )。
     例如，图像 50( 在图 3B 中示出 ) 图示选择最左边和最右边的线条以代表电梯门的边缘的视频识别系统 22 的结果。
     基于代表门的位置的线条的选择，在步骤 40 线条之间的距离可以用于产生电梯门 14a、 14b 的相应边缘之间的距离 d 的估计。在示范性实施例中，对代表电梯门的线条之间的像素进行计数，并且该结果用于产生相应门之间的像素距离。基于关于相机位置、相机和电梯门之间的距离和像素距离的已知信息，产生关于电梯门之间的实际距离 d 的估计。
     在示范性实施例中，许多个体部件由视频识别系统 22 采用以实现关于图 3A 描述的功能。例如，步骤 30 由例如坎尼边缘检测器算子等边缘检测器执行。步骤 32 由区分直和非直线的直线检测器执行。在示范性实施例中，直线检测器采用霍夫变换以做出确定。步骤 34 由线条选择器执行，该线条选择器选择在预计范围内的角度出现的线条 ( 或相反地可以省略在预计范围外的角度出现的线条 )。步骤 36 由将由该线条选择器选择的线条结合为长直线的线条合并器执行。在示范性实施例中，该线条合并器采用动态聚类以将不连续线条合并为长直线。步骤 38 由门边缘检测器执行，该门边缘检测器基于由该线条合并器产生的长直线来确定代表电梯门 14a、 14b 的边缘的线条。步骤 40 由基于距离计算器执行，该距离计算器由该门边缘检测器检测到的门边缘来确定电梯门 14a、 14b 之间的距离。在示范性实施例中，该距离计算器基于相机的位置、相机和电梯门之间的距离和位于电梯门 14a、 14b 的边缘之间的像素数量而产生距离估计。
     描述为视频识别系统 22 的组成部分的这些部件中的每个可采用计算机或控制器实现的过程和用于实践那些过程的设备的形式来体现。例如，由处理器和存储装置 ( 例如，硬盘、随机存取存储器等 ) 构成的计算机可操作成实现软件应用程序，其实现上文描述的部件。本发明还可以采用体现在计算机可读介质 ( 例如，软盘、 CD-ROM、硬盘驱动器或任何其他计算机可读存储介质 ) 中的包含指令的计算机程序代码的形式体现，其中当计算机程序代码载入并且由在视频识别系统 22 中采用的处理器执行时，视频识别系统成为用于实践本发明的设备。本发明还可采用作为例如不管是存储在存储介质中、载入和 / 或由计算机或视频识别系统 22 执行、还是在一些传输介质上 ( 例如在电连线或电缆连接上、通过光纤或通过电磁辐射 ) 传送的数据信号的计算机程序代码的形式体现，其中当计算机程序代码载入并且由计算机或视频识别系统 22 执行时，该计算机或视频识别系统 22 成为用于实践本发明的设备。当在通用微处理器上实现时，计算机程序代码段配置微处理器以形成对应于上文描述的部件的特定逻辑电路。
     例如，包括在视频识别系统 22 内的存储器可存储用于实现在图 3A 中示出的功能的程序代码或指令。该计算机程序代码可传送给包括在视频识别系统 22 内的处理器，其可执行该程序代码以实现关于本发明描述的功能性。
     图 4 是可与本发明的电梯系统结合使用的电梯门的侧视图。特别地，图 4 图示包含沿电梯门 52a 和 52b 的边缘的标记 54a 和 54b。标记 54a 和 54b 设计成可由视频识别系统 22 容易地辨别。即，高可辨别标记的使用减小与门边缘检测关联的计算复杂性和成本。图 5A 和 5B 是图示物理标记 54a 和 54b 如何用于辨别电梯门 52a 和 52b 的位置的透视图 ( 从图 1 中示出的视频检测器 18 的视角 )。在辨别标记 54a 和 54b 的位置后，视频识别软件确定如由线条 56a 和 56b 指示的电梯门 52a 和 52b 的位置。线条 56a、 56b 的确定可例如基于基于示例的分析、基于颜色的分析、几何分析或其的组合。基于该确定，电梯门 52a 和 52b 之间的距离可以如上文关于图 3A 和 3B 论述的那样确定。例如，可以对位于线条 56a 和 56b 之间的像素的数量进行计数，当连同视频检测器 16、 18 的已知位置和视频检测器 16、 18 和门 14a、 14b 之间的已知距离考虑时，该结果可以转换为距离的估计。
     尽管如关于图 4、 5A 和 5B 描述的物理标记的使用可独立使用，在示范性实施例中视频识别系统 22 基于基于线条的方法 ( 关于图 3A 和 3B 描述的 ) 和基于标记的方法两者的组合来辨别电梯门边缘。这样，在边缘不能基于一个方法辨别的情况下 ( 例如，如果物理标记被掩盖或者是对于视频检测器不可用的 )，那么可采用另一个方法以辨别电梯门的位置。
     图 6A 是图示由视频识别系统 22 在检测走近或离开电梯轿厢 12( 如在图 1 中示出的 ) 的人的存在时执行的功能的示范性实施例的框图。在图 6A 中执行的功能的结果关于在图 6B 中示出的样本图像来图示。关于图 6A 和 6B 描述的功能将是除检测电梯门 14a 和 14b 的边缘所执行的功能之外的功能。
     再次，视频输入由一个或多个检测器提供。在步骤 60，视频识别系统 22 指派时间戳给数据的当前帧中的每个像素。在步骤 62，对于由视频检测器提供的视频数据的连续帧执行差分运算 (differenceoperation)。该差分运算比较来自连续帧的像素并且检测像素中的一个或多个之间的区别。在步骤 64，给识别为从一个帧到下一个帧变化的像素指派新的时间戳 ( 即，更近的时间戳 )。在步骤 66，与指派给各个像素的时间戳关联的梯度用于确定与特定人关联的方向。特别地，人移动的方向确定为指向最近指派的时间戳的方向。即，该方法假设移动通过视频检测器的视场的人是基于像素随时间的变化状态可检测的。差分
     运算检测变化像素的存在 ( 指示检测到的人 ) 并且与时间戳关联的梯度指派方向给检测到的人。这样，视频识别系统 22 能够提供关于位于电梯轿厢 12 附近的人的存在和方向的反馈给门控制器 24。
     如在图 6B 中示出的，对应于第一时间戳的时间戳已经指派给由短划线 72a 识别的像素，并且对应于第二时间戳的时间戳已经指派给由线条 72b 识别的像素。基于指派的时间戳的梯度 ( 即，从时间上较早时到时间上较晚时的流动 )，检测到的人的方向确定为如由箭头 74 示出的那样。
     本发明的实施例利用视频数据以提供关于电梯门的操作的反馈。视频数据的分析允许做出关于电梯门之间的距离和电梯门的状态的确定。另外，视频数据的分析可以用于检测走近或离开电梯轿厢的人的存在，以及门之间的障碍物的存在。这样，本发明是关于要求专用传感器以检测电梯门的状态的现有技术系统的改进。
     前文提及的论述意在仅是本发明的说明性的并且不应该解释为限制附上的权利要求于任何特定的实施例或实施例组。从而，尽管本发明已经参照其特定示范性实施例特别详细地描述，还应该意识到许多修改和改变可对本发明做出而不偏离如在接着的权利要求中阐述的本发明的更宽和指定范围。该说明书和图因此采用说明性的方式看待并且不意在限制附上的权利要求的范围。根据本发明的前述公开，精通本领域内的人将意识到在本发明的范围内可以有其他实施例和修改。因此，可由精通本领域内的人从本公开获得的在本发明的范围内的所有修改将作为本发明的另外的实施例而被包含其中。本发明的范围将如在下列权利要求中阐述的那样限定。

资源描述

《基于视频的电梯门检测系统和方法.pdf》由会员分享，可在线阅读，更多相关《基于视频的电梯门检测系统和方法.pdf（19页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102036899 A(43)申请公布日 2011.04.27CN102036899A*CN102036899A*(21)申请号 200880129417.0(22)申请日 2008.05.22B66B 13/14(2006.01)B66B 13/26(2006.01)G06T 7/00(2006.01)(71)申请人奥蒂斯电梯公司地址美国康涅狄格州(72)发明人 E张 F 陈 Z 曹 Z 贾 P 彭(74)专利代理机构中国专利代理(香港)有限公司 72001代理人朱海煜王忠忠(54) 发明名称基于视频的电梯门检测系统和方法(57) 摘要基于视频的系统基于由一个或多。

2、个视频检测器(16、18)提供的视频数据检测电梯门(14a、14b)的位置。基于检测到的电梯门(14a、14b)的位置，电梯门(14a、14b)之间的距离可以确定。电梯门(14a、14b)的操作至少部分基于检测到的电梯门(14a、14b)之间的距离来控制。(85)PCT申请进入国家阶段日2010.11.19(86)PCT申请的申请数据PCT/CN2008/000987 2008.05.22(87)PCT申请的公布数据WO2009/140793 EN 2009.11.26(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 3 页说明书 7 页附图 8 页。

3、CN 102036902 A 1/3页21.一种控制电梯轿厢的电梯门的操作的方法，所述方法包括：采集由个体帧构成的视频数据；基于所采集的视频数据检测所述电梯门的位置；基于所检测到的所述电梯门的位置确定所述电梯门之间的距离；以及至少部分基于所确定的所述电梯门之间的距离控制所述电梯门的操作。2.如权利要求1所述的方法，其中基于所采集的视频数据检测所述电梯门的位置包括：应用基于线条的方法、基于标记的方法或其组合以检测所述电梯门的位置。3.如权利要求2所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：检测在采集的视频数据的每个帧内的边缘；以及基于所检测到的边缘检测直线。4.如权利要。

4、求3所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：省略检测到的在预计角度范围外的角度出现的直线；以及将所述预计角度范围内出现的剩余直线合并为合并线条。5.如权利要采4所述的方法，其中基于所述基于线条的方法检测所述电梯门的位置进一步包括：基于所述合并线条的位置确定限定所述电梯门的位置的所述电梯门的最左边和最右边边缘。6.如权利要求2所述的方法，其中基于所述基于标记的方法检测所述电梯门的位置进一步包括：检测放置在所述电梯门中的每个上的标记；以及基于所检测到的标记确定所述电梯门的位置。7.如权利要求1所述的方法，进一步包括：基于在所述视频数据的连续帧中所确定的所述电梯门之间的。

5、距离来确定与所述电梯门关联的当前状态；以及另外基于所确定的所述电梯门的状态控制所述电梯门的操作。8.如权利要求1所述的方法，进一步包括：基于在所述视频数据的连续帧中检测到的人的位置来检测走近或离开所述电梯轿厢的人的存在。9.如权利要求8所述的方法，其中基于在所述视频数据的连续帧中检测到的人的位置来检测走近或离开所述电梯轿厢的人的存在包括：指派第一时间戳给所述视频数据的第一帧内的每个像素；检测视频数据的第二或随后帧中的像素的不同；指派第二时间戳给指示视频数据的第一帧和视频数据的第二或随后帧之间的不同的像素；以及基于所述时间戳之间的梯度指派移动反向，其中所指派的方向从时间上较早的时间戳指向时间上较。

6、晚的时间戳。权利要求书CN 102036899 ACN 102036902 A 2/3页310.如权利要求9所述的方法，进一步包括：检测走近或离开所述电梯车厢的人，其中控制所述电梯门的状态包括至少部分基于走近或离开所述电梯轿厢的人的检测将所述电梯门的状态从门正在关闭状态改变到门正在打开状态。11.如权利要求1所述的方法，其中控制所述电梯门操作包括控制所述电梯门的状态和在所述电梯门正在打开和/或正在关闭期间与所述电梯门关联的速度，并且其中所述电梯门的速度至少部分基于所确定的所述电梯门之间的距离来控制。12.一种用于基于视频数据控制电梯门操作的系统，所述系统包括：至少一个视频检测器，其配置。

7、成采集并且传送采用多个图像的形式的视频数据；可操作式地连接以从所述至少一个视频检测器接收所述视频数据的视频识别系统，其中所述视频识别系统可操作成：基于所采集的视频数据检测所述电梯门的位置；以及基于对于多个帧中的每个所检测到的所述电梯门位置确定所述门之间的距离，以及可操作式地连接以接收由所述视频识别系统确定的所述距离数据的电梯控制器，其中所述电梯控制器配置成至少部分基于所确定的所述电梯门之间的距离控制所述电梯门的操作。13.如权利要求12所述的系统，其中所述视频识别系统配置成通过采用基于线条的方法、基于标记的方法或其组合检测所述电梯门的位置。14.如权利要求12所述的系统，其中所述电梯控制器配置。

8、成至少部分基于由所述视频识别系统确定的所述距离来控制与所述电梯门的打开和/或关闭关联的速度。15.如权利要求12所述的系统，其中所述电梯控制器配置成基于在所述视频数据的连续帧中确定的所述距离来确定与所述电梯门关联的当前状态。16.如权利要求15所述的系统，其中所述电梯控制器配置成基于所确定的所述电梯门的状态控制所述电梯门维持在打开或关闭状态的时间长度。17.如权利要求12所述的系统，其中所述视频识别系统可操作成检测走近或离开所述电梯轿厢的人的存在。18.如权利要求17所述的系统，其中所述视频识别系统进一步可操作成基于视频数据的连续帧检测与所检测到的人关联的方向。19.如权利要求18所述的系统，。

9、其中所述电梯控制器配置成至少部分基于所检测到的走近或离开所述电梯轿厢的人的存在来控制所述电梯门的操作。20.一种视频识别系统，其包括：用于接收由视频检测器捕捉的视频数据的部件；用于基于所述视频数据检测在所述视频检测器的视场内的电梯门的门框边缘的部件；用于基于所检测到的门框边缘确定所述电梯门之间的距离的部件；以及用于基于所确定的在所述电梯门之间的距离产生输出的部件。21.如权利要求20所述的视频识别系统，其中用于检测所述电梯门的位置的部件包括：配置成检测在所接收的视频数据内的边缘的边缘检测器；配置成检测在所检测到的边缘内的直线的线条检测器；权利要求书CN 102036899 ACN 10。

10、2036902 A 3/3页4配置成选择出现在可允许角度范围内的所检测到的直线中的一条或多条的线条选择器；配置成将所选择的直线的不连续部分合并的线条合并器；以及配置成从所合并的直线中选择代表所述电梯门的门框边缘的一条或多条线条的门边缘检测器。22.如权利要求20所述的视频识别系统，其中用于基于所检测到的门框边缘来确定所述电梯门之间的距离的部件包括：配置成基于位于所检测到的门框边缘之间的像素的数量来确定所检测到的门框边缘之间的距离的距离确定装置。权利要求书CN 102036899 ACN 102036902 A 1/7页5基于视频的电梯门检测系统和方法技术领域0001 本公开涉及电梯门检。

11、测，并且特别地涉及检测电梯门位置的计算机视觉方法。背景技术0002 电梯门控制是电梯安全的重要方面。已经开发多种传感器和系统来感测电梯门的位置，以及检测将阻止电梯门关闭的任何障碍物。传统上，安装在每个电梯轿厢内的红外传感器或接近传感器向控制器提供关于门的位置和在门之间是否检测到任何障碍物的反馈。然而，这些系统要求在电梯内安装专用传感器，并且招致与维持传感器的运行状态关联的费用。0003 另外，建筑日益依赖视频监控以提供建筑安全、进入控制和其他功能。作为这些系统的部分，在电梯轿厢中或临近电梯轿厢包括视频监控变得日益常见。因此，开发可以利用在这些建筑中已经采用的视频监控装置以提供安全和高效地控制电。

12、梯门操作所必需的反馈而不使用专用传感器的系统将是有益的。发明内容0004 本发明的实施例解决控制电梯轿厢的电梯门的操作的方法。除其他可能的步骤外，该方法还包括：采集由个体帧构成的视频数据；基于采集的视频数据检测电梯门的位置；基于检测到的电梯门位置确定电梯门之间的距离；并且至少部分基于确定的电梯门之间的距离控制电梯门的操作。0005 本发明的另一个实施例解决用于基于视频数据控制电梯门操作的系统。除其他可能的事物外，该系统还包括：至少一个视频检测器；视频识别系统；以及电梯控制器。该至少一个视频检测器配置成采集并且传送采用多个图像的形式的视频数据。该视频识别系统可操作式地连接以从该至少一个视频检测器。

13、接收视频数据。该视频识别系统可操作成：基于采集的视频数据检测电梯门的位置；以及对多个帧中的每个基于检测到的电梯门位置确定门之间的距离。该电梯控制器：可操作式地连接以接收由视频识别系统确定的距离；并且配置成至少部分基于确定的电梯门之间的距离控制电梯门的操作。0006 要理解前述一般说明和下列详细说明是仅示范性和说明性的，并且不是对权利要求保护的本发明的限制。附图说明0007 本发明的这些和其他特征、方面和优势将从下列说明、附上的权利要求和在图(其在后面简短描述)中示出的附随示范性实施例变得明显。0008 图1是根据本发明的实施例的电梯系统的透视图，其包括放置以监测电梯门操作的视频装置。0009 。

14、图2是由在图1中示出的实施例的电梯系统采用的部件的框图，该部件用于采集视频数据、处理视频数据并且向门控制器提供期望反馈。说明书CN 102036899 ACN 102036902 A 2/7页60010 图3A是图示由视频识别系统执行以检测电梯门的位置的功能的示范性实施例的框图。0011 图3B是图示使用关于图3A描述的功能的电梯门检测的视频数据的样本帧。0012 图4是包括简化电梯门的边缘检测所采用的独特标记的电梯门的侧视图。0013 图5A和5B是图示使用在图4中示出的独特标记的电梯门检测的视频数据的样本帧。0014 图6A是图示由视频识别系统执行以检测走近或离开电梯轿厢的人的存在的功。

15、能的示范性实施例的框图。0015 图6B是图示使用关于图6A描述的功能的人检测的视频数据的样本帧。具体实施方式0016 已经做出努力在所有图中对相同或相似的部件使用相同或相似的标号。0017 本发明提供基于由一个或多个光学灵敏装置(例如摄像机等)提供的视频输入的电梯门检测，该光学灵敏装置连续捕捉并且实时传送图像(在下文中称为视频检测器)。该视频输入通过计算机方法分析以检测电梯门或多个电梯门的边缘。基于该门边缘的检测，可以对分析的每个帧来确定门边缘之间的距离。进而，检测到的门距离用于推断电梯门的状态(例如，门打开、门关闭、门正在打开、门正在关闭)。检测到的门边缘之间的距离以及电梯门的推断状态作为。

16、反馈提供给电梯门控制器。基于这些输入以及任何附加输入，电梯门控制器生成指令以安全并且高效地控制电梯门的操作。0018 图1是电梯系统10的透视图，其包括电梯轿厢12、电梯轿厢门14a和14b、第一视频检测器16和第二视频检测器18。在该实施例中，第一视频检测器16位于电梯轿厢12的后壁上并且放置以用于监测电梯门14a和14b的打开和关闭。第二视频检测器18位于电梯轿厢12的天花板上并且也放置(尽管从稍稍不同的视角)以用于监测电梯门14a和14b的打开和关闭。在许多实施例中，第一视频检测器16和第二视频检测器18用作彼此的备选项，但它们可互相结合使用以提供更鲁棒的结果或解决一个视频检测器被遮挡的。

17、情况。另外，基于轿厢的视频检测器16、18(其可主要用于检测轿厢门14a、14b的位置)中的任一或两者可与一个或多个相似的基于登陆处(landing)的视频检测器(没有示出)(其可主要用于检测登陆处的特定井道入口的井道门(没有示出)的位置)结合使用。0019 在示范性实施例中，第一视频检测器16和第二视频检测器18是监控型拍摄装置(camera)，能够提供由多个连续视频帧构成的视频输入。视频检测器可包括摄像机或其他视频数据捕捉装置。术语视频输入一般用于指表示两个或三个空间维度的视频数据以及限定时间维度的连续帧。0020 基于由视频检测器16和/或18提供的视频输入，计算机视觉技术应用于采集的视。

18、频输入以便检测电梯门14a和14b的位置(关于图3A-5B更详细地描述)。基于检测到的电梯门位置，可以确定相应电梯门之间或在单门应用中相应电梯门和该电梯门的侧边之间的距离d。通过分析提供的视频输入的连续帧，电梯门14a和14b之间的距离d随时间的变化(d/t)可以用于推断电梯门的状态。为了该说明的目的，有四个与电梯门控制关联的相关状态，包括：门关闭、门正在打开、门打开和门正在关闭。从而，在连续帧上检测到的距离d的减小指示电梯门14a和14b处于关闭的过程中。同样地，在连续帧上说明书CN 102036899 ACN 102036902 A 3/7页7检测到的距离d的增加指示电梯门14a和14。

19、b处于打开的过程中。除采用视频数据确定电梯门14a、14b之间的距离d和电梯门的状态外，视频输入还可被分析以确定走近或离开电梯轿厢的人的存在(关于图6A和6B更详细地描述)。这样，视频输入用于提供关于电梯门的状态的反馈。如关于图2描述的，该反馈用于安全并且高效地控制电梯门14a和14b的操作。0021 图2是电梯控制系统20的功能框，其包括视频检测器16和18、视频识别系统22和电梯门控制器24。由第一视频检测器16和/或第二视频检测器18捕捉的视频输入提供给视频识别系统22用于分析。0022 视频识别系统22包括分析由视频检测器提供的视频数据所必需的硬件和软件的组合。由视频检测器16、18中。

20、的一个或多个的视频提供可借助于许多手段中的任一个，例如硬线连接、在专用无线网络上、在共享无线网络上等。包括在视频识别系统22内的硬件包括但不限于微处理器(没有示出)以及存储器(没有示出)。包括在视频识别系统22内的软件可包括视频内容分析软件，其关于在图3A和6A中示出的功能更详细地描述。0023 特别地，视频识别系统22分析由视频检测器16和/或18提供的视频输入并且产生作为反馈提供给电梯控制器24的输出。在示范性实施例中，视频识别系统22分析视频输入以检测与电梯门14a和14b关联的边缘(如在图1中示出的)。在一个示范性实施例中基于线条的方法(关于图3A和3B详细描述)由视频识别系统22采用。

21、以检测表示电梯门14a和14b的边缘的线条。基于检测到的电梯门14a和14b的边缘，门之间的距离d以及电梯门的状态可以如之前论述的那样确定。在另一个示范性实施例中，其可单独或与基于线条的方法结合使用，基于标记的方法(关于图4-5B详细描述)可由视频识别系统22采用以检测靠近每个电梯门的边缘放置的独特标记。基于检测到的标记，门14a、14b之间的距离以及电梯门的状态可以如之前论述的那样确定。0024 在另一个示范性实施例中，除检测电梯门14a和14b的边缘外，视频识别系统22分析由视频检测器16和/或18提供的视频输入以检测走近或离开电梯轿厢12的人的存在。在示范性实施例(关于图6A和6B更详细。

22、描述的)中，视频识别系统22采用差分运算(differenceoperation)和时间戳以检测在电梯轿厢12中和其周围的人的存在和方向。0025 由视频识别系统22产生的输出(包括检测到的电梯门之间的距离d和/或检测到的走近或离开电梯轿厢12的人的存在)作为反馈提供给电梯门控制器24。电梯门控制器24包括用于确定电梯门14a、14b的状态和用于生成基于从视频识别系统22接收的反馈来控制电梯门的操作的控制指令的硬件和软件的组合。再一次，视频识别系统22将反馈提供给门控制器24所借助的提供方式可借助许多手段中的任一个，包括借助于硬线连接、在专用无线网络上、在共享无线网络上等。门控制器24还可更简。

23、单地表示为基于由视频识别系统22提供的反馈来提供输出(在该情况下，是电梯门控制信号)的决策逻辑。0026 门控制器24生成指令以控制例如电梯门14a和14b维持在打开或关闭状态的时间长度、电梯门14a和14b打开或关闭的速度等方面。这些操作基于(部分地)从视频识别系统22接收的反馈。例如，当正在关闭电梯门时，最初用相对快的速度关闭门并且然后当门接近完全关闭状态时减小电梯门的速度是典型可取的。这样，关闭电梯门需要的总时间最小化。从而，如果由视频识别系统22提供的反馈最初指示电梯门14a和14b之间的距离d是大的(即，门是打开的)，那么门控制器24将生成控制指令，其使电梯门14a和14b说明书。

24、CN 102036899 ACN 102036902 A 4/7页8相对快速地关闭。当由视频识别系统22提供的反馈指示电梯门14a和14b之间的距离d已经减小时，门控制器24生成指令以减小电梯门的速度直到反馈指示门处于关闭状态。这样，关闭电梯门14a和14b花费的时间量减小。0027 在另一个示例中，从视频识别系统22接收的、指示走近或离开电梯轿厢12的人的存在的反馈由门控制器24采用以控制电梯门14a和14b的操作。例如，响应于视频识别系统22检测到走近电梯轿厢12的一个或多个人的存在，门控制器24可维持电梯门14a和14b处于门打开状态长达一延长的时间段以允许检测到的人进入电梯轿厢12。另。

25、外，门控制器24可响应于检测到走近或离开电梯轿厢12的人来改变电梯门14a和14b的状态。例如，响应于视频识别系统22检测到走近电梯轿厢12的人的存在，门控制器可将电梯门14a和14b的状态从门正在关闭状态改变到门正在打开状态以给该人提供时间以进入电梯轿厢12。在其他实施例中，相似的操作响应于指示人正离开电梯轿厢12的反馈或响应于检测到位于电梯门14a和14b之间的障碍物来执行。0028 图3A图示由视频识别系统22执行的功能或计算的示范性实施例。图3B提供以图形地图示在图3A中执行的功能的结果。然而，应该注意到在图3B中示出的样本图像用于说明性目的，并且不反映由视频识别系统22产生的实际输出。

26、。0029 如在图3A中示出的，视频识别系统22执行关于由视频检测器16和/或18提供的视频图像的下列功能，包括：在每个图像内检测边缘，基于图像数据检测直线；省略确定为在错误角出现的线条，合并剩余的线条为直线，选择性地确定剩余线条中的哪些线条表示门框边缘，并且确定门框边缘之间的实际距离d。0030 从而，视频识别系统22从一个或多个视频检测器16、18接收视频输入。为了该说明的目的，假定提供给视频识别系统22的视频输入是采用数字格式，但在其中由一个或多个视频检测器产生的视频输入是模拟的实施例中，将需要附加模数转换器以格式化图像使得计算机系统可以对它们操作。该转换可在视频检测器它们自己内执行，或。

27、可由视频识别系统22作为第一步骤(没有示出)执行。0031 另外，由视频识别系统22操作的视频输入由许多个体帧构成。在示范性实施例中，这些帧存储到缓冲器(没有示出)。由视频识别系统22执行的功能然后可应用于连续存储到缓冲器的每个帧，或可应用于被一些预定数量的不由视频识别系统22分析的中间帧分开的帧。0032 在步骤30，视频识别系统22通过在正在分析的图像帧内检测边缘而开始分析。在示范性实施例中，众所周知的坎尼边缘检测算子(Canny edge detection operator)被采用以在图像内检测边缘。取决于视频识别系统22的处理能力，以及需要的响应时间，可采用坎尼算子的不同变型。特别地。

28、，用于减少噪声所采用的滤波器和用于检测特定边缘所使用的阈值可以选择为提供期望的响应。0033 例如，在图像42(如在图3B中示出的)上执行的边缘检测导致视频识别系统22检测在图像44中示出的边缘。如在图像44中示出的，边缘检测导致直和弯曲边缘两者的检测。0034 基于电梯门的边缘将一直是直线的知识，在步骤32，视频识别系统22分离在步骤30检测到的边缘内的直线。在示范性实施例中，众所周知的霍夫变换被采用以区分直线和曲线。霍夫变换分析在之前的步骤中识别为边缘的点集，并且特别地，采用表决过程说明书CN 102036899 ACN 102036902 A 5/7页9(voting process。

29、)以确定该点集是否构成直线。另外，在步骤34利用电梯门相对于视频检测器的位置的知识来省略在预计范围外的角度出现的直线。例如，基于视频检测相机16的位置(如在图1中示出的)，将省略在水平角度出现的直线。0035 例如，在图像44(如在图3B中示出的)上执行的线条检测和非竖直线条的省略导致视频识别系统22检测在图像46中示出的直线(如由识别的直线的粗体指示的)。该图像图示线条识别和在限定范围外出现的线条的省略两者的效果，使得剩余的线条是用于限定电梯门的边缘的良好候选者。剩余的直线可是例如检测到的轿厢12的角落和/或轿厢12的壁的边缘。0036 在步骤36，在步骤32和34识别的直的、竖直的(或近乎。

30、竖直的)线条合并以形成长直线。即，位于沿相同平面的不连续线条将合并为长的单条线条。在示范性实施例中，动态聚类法用于将不连续的线条合并为单条线条。0037 例如，在图像46(如在图3B中示出的)上执行的不连续线条的合并导致视频识别系统22产生在图像48中示出的长直线(再次，由长直线的粗体指示)。在该示例中，若干长直线已经识别，因此存在若干候选者，针对这些线条中的哪些线条代表电梯门的边缘来从这些候选者中选择。0038 在步骤38，视频识别系统22从在步骤36产生的长直线中选择以代表电梯门的边缘。在示范性实施例中，最左边和最右边的长直线选择作为代表电梯门的边缘。在其他实施例中，附加输入可结合在检测门。

31、边缘的位置的步骤中，包括门的当前状态(例如，门打开、门关闭、门正在打开、门正在关闭等)和之前检测到的门的位置(例如，在之前帧中检测到的边缘的位置)。0039 例如，图像50(在图3B中示出)图示选择最左边和最右边的线条以代表电梯门的边缘的视频识别系统22的结果。0040 基于代表门的位置的线条的选择，在步骤40线条之间的距离可以用于产生电梯门14a、14b的相应边缘之间的距离d的估计。在示范性实施例中，对代表电梯门的线条之间的像素进行计数，并且该结果用于产生相应门之间的像素距离。基于关于相机位置、相机和电梯门之间的距离和像素距离的已知信息，产生关于电梯门之间的实际距离d的估计。0041 在示范。

32、性实施例中，许多个体部件由视频识别系统22采用以实现关于图3A描述的功能。例如，步骤30由例如坎尼边缘检测器算子等边缘检测器执行。步骤32由区分直和非直线的直线检测器执行。在示范性实施例中，直线检测器采用霍夫变换以做出确定。步骤34由线条选择器执行，该线条选择器选择在预计范围内的角度出现的线条(或相反地可以省略在预计范围外的角度出现的线条)。步骤36由将由该线条选择器选择的线条结合为长直线的线条合并器执行。在示范性实施例中，该线条合并器采用动态聚类以将不连续线条合并为长直线。步骤38由门边缘检测器执行，该门边缘检测器基于由该线条合并器产生的长直线来确定代表电梯门14a、14b的边缘的线条。步骤。

33、40由基于距离计算器执行，该距离计算器由该门边缘检测器检测到的门边缘来确定电梯门14a、14b之间的距离。在示范性实施例中，该距离计算器基于相机的位置、相机和电梯门之间的距离和位于电梯门14a、14b的边缘之间的像素数量而产生距离估计。0042 描述为视频识别系统22的组成部分的这些部件中的每个可采用计算机或控制器实现的过程和用于实践那些过程的设备的形式来体现。例如，由处理器和存储装置(例如，说明书CN 102036899 ACN 102036902 A 6/7页10硬盘、随机存取存储器等)构成的计算机可操作成实现软件应用程序，其实现上文描述的部件。本发明还可以采用体现在计算机可读介质(例。

34、如，软盘、CD-ROM、硬盘驱动器或任何其他计算机可读存储介质)中的包含指令的计算机程序代码的形式体现，其中当计算机程序代码载入并且由在视频识别系统22中采用的处理器执行时，视频识别系统成为用于实践本发明的设备。本发明还可采用作为例如不管是存储在存储介质中、载入和/或由计算机或视频识别系统22执行、还是在一些传输介质上(例如在电连线或电缆连接上、通过光纤或通过电磁辐射)传送的数据信号的计算机程序代码的形式体现，其中当计算机程序代码载入并且由计算机或视频识别系统22执行时，该计算机或视频识别系统22成为用于实践本发明的设备。当在通用微处理器上实现时，计算机程序代码段配置微处理器以形成对应于上文描。

35、述的部件的特定逻辑电路。0043 例如，包括在视频识别系统22内的存储器可存储用于实现在图3A中示出的功能的程序代码或指令。该计算机程序代码可传送给包括在视频识别系统22内的处理器，其可执行该程序代码以实现关于本发明描述的功能性。0044 图4是可与本发明的电梯系统结合使用的电梯门的侧视图。特别地，图4图示包含沿电梯门52a和52b的边缘的标记54a和54b。标记54a和54b设计成可由视频识别系统22容易地辨别。即，高可辨别标记的使用减小与门边缘检测关联的计算复杂性和成本。0045 图5A和5B是图示物理标记54a和54b如何用于辨别电梯门52a和52b的位置的透视图(从图1中示出的视频检测。

36、器18的视角)。在辨别标记54a和54b的位置后，视频识别软件确定如由线条56a和56b指示的电梯门52a和52b的位置。线条56a、56b的确定可例如基于基于示例的分析、基于颜色的分析、几何分析或其的组合。基于该确定，电梯门52a和52b之间的距离可以如上文关于图3A和3B论述的那样确定。例如，可以对位于线条56a和56b之间的像素的数量进行计数，当连同视频检测器16、18的已知位置和视频检测器16、18和门14a、14b之间的已知距离考虑时，该结果可以转换为距离的估计。0046 尽管如关于图4、5A和5B描述的物理标记的使用可独立使用，在示范性实施例中视频识别系统22基于基于线条的方法(关。

37、于图3A和3B描述的)和基于标记的方法两者的组合来辨别电梯门边缘。这样，在边缘不能基于一个方法辨别的情况下(例如，如果物理标记被掩盖或者是对于视频检测器不可用的)，那么可采用另一个方法以辨别电梯门的位置。0047 图6A是图示由视频识别系统22在检测走近或离开电梯轿厢12(如在图1中示出的)的人的存在时执行的功能的示范性实施例的框图。在图6A中执行的功能的结果关于在图6B中示出的样本图像来图示。关于图6A和6B描述的功能将是除检测电梯门14a和14b的边缘所执行的功能之外的功能。0048 再次，视频输入由一个或多个检测器提供。在步骤60，视频识别系统22指派时间戳给数据的当前帧中的每个像素。在步骤62，对于由视频检测器提供的视频数据的连续帧执行差分运算(differenceoperation)。该差分运算比较来自连续帧的像素并且检测像素中的一个或多个之间的区别。在步骤64，给识别为从一个帧到下一个帧变化的像素指派新的时间戳(即，更近的时间戳)。在步骤66，与指派给各个像素的时间戳关联的梯度用于确定与特定人关联的方向。特别地，人移动的方向确定为指向最近指派的时间戳的方向。即，该方法假设移动通过视频检测器的视场的人是基于像素随时间的变化状态可检测的。差分说明书CN 102036899 A。

展开阅读全文