跟踪辅助装置、跟踪辅助系统和跟踪辅助方法.pdf

本发明涉及跟踪辅助装置、跟踪辅助系统和跟踪辅助方法。公开了一种跟踪辅助装置,包括：待跟踪目标设定单元，响应于由监控人员在显示视图之一上执行的、指定待跟踪运动对象的输入操作，将所指定的运动对象设定为待跟踪目标，该显示视图显示由各个摄像机拍摄并且在记录器中存储的捕获图像；摄像机选择单元，基于通过处理捕获图像获得的追踪信息，从除了在其上对应于指定待跟踪目标的显示视图的摄像机的摄像机中选择推断为已经拍摄指定为待跟踪目标的运动对象的图像的任何摄像机；以及回放单元，使由摄像机选择单元选择的每一摄像机拍摄的捕获图像显示在相应的显示视图之一中。

权利要求书1.  一种跟踪辅助装置，用于通过在显示装置(7)上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在所述画面中，根据摄像机(1a-1d)的实际设置，在表示受监控区域的地图图像(41)上，设置用于显示由各个摄像机(1a-1d)拍摄的并且存储在图像存储单元(2)中的捕获图像的多个显示视图(43a-43d)，所述跟踪辅助装置包括：待跟踪目标设定单元(23)，所述待跟踪目标设定单元(23)使在所述图像存储单元中存储的捕获图像根据诸如捕获时间的特定搜索条件被显示在所述显示视图(43a-43d)中，以及响应于监控人员在所述显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标；摄像机选择单元(24)，所述摄像机选择单元(24)基于通过处理所述捕获图像获得的追踪信息，从除了对应于在其上指定所述待跟踪目标的显示视图的摄像机的所述摄像机(1a-1d)中，选择推断为已经拍摄指定为所述待跟踪目标的运动对象的图像的任何摄像机(1a-1d)；确认图像呈现单元(31)，所述确认图像呈现单元(31)基于与设定为所述待跟踪目标的运动对象有关的追踪信息，从通过由所述摄像机选择单元(24)选择的每一摄像机拍摄的捕获图像中，提取确认图像，所述确认图像是当开始所述运动对象的追踪时，通过由所述摄像机选择单元(24)选择的每一摄像机拍摄的并且假定包括所述运动对象的捕获图像，以及使所述显示装置(7)显示在其中设置一个或多个所述确认图像的待跟踪目标确认画面；以及回放单元(27)，所述回放单元(27)执行随着时间流逝，在多个显示视图(43a-43d)中，顺序地显示由所述确认图像呈现单元(31)从中提取一个或多个所述确认图像的捕获图像的连续回放。2.  根据权利要求1所述的跟踪辅助装置，进一步包括画面生成单 元(28)，所述画面生成单元(28)包括：待跟踪目标指示单元(38)，所述待跟踪目标指示单元(38)提供第一高亮显示，以高亮显示与设定为所述待跟踪目标的运动对象有关的运动对象边框(48)；以及显示视图指示单元(37)，所述显示视图指示单元(37)提供第二高亮显示，以在执行连续回放的连续回放画面中，高亮显示与设定为所述待跟踪目标的运动对象目前出现的显示视图有关的显示边框(45)。3.  根据权利要求1或2所述的跟踪辅助装置，其中，在所述追踪信息中，中断设定为所述待跟踪目标的运动对象的追踪的情况下，所述显示视图指示单元(37)同时指示分别显示在中断所述追踪的时段前后包括设定为所述待跟踪目标的运动对象的捕获图像的两个显示视图。4.  根据权利要求1至3的任何一个所述的跟踪辅助装置，进一步包括：候选选择单元(33)，所述候选选择单元(33)当在与设定为所述待跟踪目标的运动对象有关的追踪信息中存在错误时，基于所述追踪信息，将与设定为所述待跟踪目标的运动对象具有高相关度的一个或多个运动对象选择为一个或多个候选；候选图像呈现单元(34)，所述候选图像呈现单元(34)将其中包括选择为一个或多个所述候选的一个或多个所述运动对象的一个或多个捕获图像提取为一个或多个候选图像，以及使所述显示装置(7)显示候选选择画面，在所述候选选择画面中设置一个或多个所述候选图像，使得监控人员在所述候选选择画面上选择其中包括指定为所述待跟踪目标的运动对象的候选图像；以及追踪信息校正单元(35)，所述追踪信息校正单元(35)将所述待跟踪目标改变成包括在在所述候选选择画面上选择的候选图像中的运动对象，并且校正与设定为所述待跟踪目标的运动对象有关的追踪 信息。5.  根据权利要求1至4的任何一个所述的跟踪辅助装置，其中，关于在监控人员在其上指定待跟踪的运动对象的待跟踪目标指定图像的捕获时间前、后或前后均发生的事件，执行由所述摄像机选择单元(24)和所述回放单元(27)执行的过程。6.  一种跟踪辅助系统，用于通过在显示装置(7)上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在所述画面中，根据摄像机(1a-1d)的实际设置，在表示受监控区域的地图图像(41)上，设置用于显示由各个摄像机(1a-1d)拍摄的并且存储在图像存储单元(2)中的捕获图像的多个显示视图(43a-43d)，所述跟踪辅助系统包括：拍摄所述受监控区域的图像的摄像机(1a-1d)；显示所述画面的显示装置(7)；以及多个信息处理装置(3、11、12、13)，其中，所述多个信息处理装置(3、11、12、13)共同包括：追踪处理单元(4、5、21)，所述追踪处理单元(4、5、21)追踪从由所述摄像机拍摄的捕获图像检测的一个或多个运动对象并且生成每一运动对象的追踪信息；待跟踪目标设定单元(23)，所述待跟踪目标设定单元(23)使在所述图像存储单元中存储的捕获图像根据诸如捕获时间的特定搜索条件被显示在所述显示视图(43a-43d)中，以及响应于监控人员在所述显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标；摄像机选择单元(24)，所述摄像机选择单元(24)基于从所述追踪处理单元获得的追踪信息，从除了对应于在其上指定所述待跟踪目标的显示视图的摄像机的所述摄像机(1a-1d)中，选择推断为已经拍摄指定为所述待跟踪目标的运动对象的图像的任何摄像机(1a-1d)；确认图像呈现单元(31)，所述确认图像呈现单元(31)基于与 设定为所述待跟踪目标的运动对象有关的追踪信息，从通过由所述摄像机选择单元(24)选择的每一摄像机拍摄的捕获图像中，提取确认图像，所述确认图像是当开始所述运动对象的追踪时，通过由所述摄像机选择单元(24)选择的每一摄像机拍摄的并且假定包括所述运动对象的捕获图像，以及使所述显示装置(7)显示在其中设置一个或多个所述确认图像的待跟踪目标确认画面；以及回放单元(27)，所述回放单元(27)执行随着时间流逝，在多个显示视图(43a-43d)中，顺序地显示由所述确认图像呈现单元(31)从中提取一个或多个所述确认图像的捕获图像的连续回放。7.  一种跟踪辅助方法，用于通过在显示装置(7)上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在所述画面中，根据摄像机(1a-1d)的实际设置，在表示受监控区域的地图图像(41)上，设置用于显示由各个摄像机(1a-1d)拍摄的并且存储在图像存储单元(2)中的捕获图像的多个显示视图(43a-43d)，所述跟踪辅助方法包括：使在所述图像存储单元(2)中存储的捕获图像根据诸如捕获时间的特定搜索条件被显示在所述显示视图(43a-43d)中，以及响应于监控人员在所述显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标的步骤；基于通过处理所述捕获图像获得的追踪信息，从除了对应于在其上指定所述待跟踪目标的显示视图的摄像机的所述摄像机(1a-1d)中，选择推断为已经拍摄指定为所述待跟踪目标的运动对象的图像的任何摄像机(1a-1d)的步骤；基于与设定为所述待跟踪目标的运动对象有关的追踪信息，从通过所述选择的步骤选择的每一摄像机拍摄的捕获图像中，提取确认图像，所述确认图像是当开始所述运动对象的追踪时，由通过所述选择的步骤选择的每一摄像机拍摄的并且假定包括所述运动对象的捕获图像，以及使所述显示装置显示在其中设置一个或多个所述确认图像的待跟踪目标确认画面的步骤；以及执行随着时间流逝，在多个显示视图(43a-43d)中，顺序地显示通过所述提取的步骤从中提取一个或多个所述确认图像的捕获图像的连续回放的步骤。

说明书跟踪辅助装置、跟踪辅助系统和跟踪辅助方法
技术领域
本发明涉及跟踪辅助装置、跟踪辅助系统和跟踪辅助方法，用于通过在显示装置上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在画面中设置多个显示部分来显示由各个摄像机拍摄的并且存储在图像存储装置中的捕获图像。
背景技术
一些广泛使用的监控系统包括设置在受监控区域中的多个摄像机和用来显示监控画面的监视器，在该监控画面中设置多个显示部分来显示由各个摄像机拍摄的捕获图像，以使得监控人员能监控受监控区域。在这种监控系统中，通过将由摄像机拍摄的捕获图像存储在记录器中，可以在检测到诸如入店行窃的非法行为后，使监控人员检查在受监控区域中，实施非法行为的人执行了什么动作。
在如上所述，监控人员在观看监控画面中的多个显示部分的同时，保持跟踪该可疑人员的情况下，要求监控人员从被监控的人员的运动方向，确定该人员紧接着将出现(或待显示)的显示部分，但如果花费太多时间来确定下一显示部分，监控人员可能丢失对待监控的人员的观察。因此，需求减轻监控人员的负担并且允许流畅地执行人员的跟踪的配置。
关于这种需求，通常已知基于信息，诸如被监控的人员的运动方向，选择紧接着将捕获该人员的图像的摄像机，以及在被监控的人员目前出现的显示部分附近，显示由该摄像机拍摄的捕获图像的显示部分的技术(参见JP2005-012415A)。还已知显示监控画面使得监控画面包括表示受监控区域的地图图像，在该地图图像上，设置表示摄像 机的图像(摄像机标志)和用于显示由摄像机拍摄的捕获图像的显示部分(参见JP2010-268186A)。
可以基于由追踪从由摄像机拍摄的捕获图像检测一个或多个运动对象的追踪处理装置获得的追踪信息，执行如在JP2005-012415A中公开的技术中所述的、选择紧接着捕获被监控的人员的图像的摄像机的过程。然而，如果追踪信息包括错误，可能跟丢被监控的人员。由此，需求当在监控人员观看画面的同时，跟踪人员的处理期间，在追踪信息中发现错误时，能允许在不会对监控人员强加相当大的负担的情况下，监控人员校正追踪信息的配置。
关于这种需求，已知追踪装置被配置成使用在运动对象上设定的兴趣点，执行追踪过程，如果兴趣点的追踪变得困难，根据由用户(监控人员)输入的校正指令，改变兴趣点，由此继续追踪过程的技术(参见JP2007-272732)。
发明内容
在JP2005-012415A所公开的技术中，由于预测紧接着将捕获正被监控的人员的图像的摄像机(下一摄像机)以及显示由该摄像机拍摄的捕获图像，会减轻监控人员的负担。然而，如果在由目前正捕获正被监控的人员的图像的摄像机拍摄的捕获图像中，除正被监控的人员外，还有另一人员，可能会基于另一人员的运动方向，执行下一摄像机的预测。在这种情况下，使下一摄像机的预测不正确，这会导致监控人员丢失对正被监控的人员的观察。
另一方面，在JP2010-268186A所公开的技术中，地图图像上的摄像机之间的位置关系使得监控人员能够在某种程度上预测正被监控的人员紧接着将出现的显示部分，由此，能稍微减轻监控人员的负担。然而，在屏幕中，对应于所安装的摄像机的数量，设置许多显示部分的情况下，难以从许多显示部分迅速和准确地确定正被监控的人员目 前出现的显示部分，由此，监控人员的负担仍然高，并且仍然存在丢失跟踪正被监控人员的高可能性。
此外，在JP2007-272732A所公开的技术中，即使在追踪装置难以执行追踪过程的情况下，通过监控人员的帮助，能不中断地继续追踪过程。然而，该现有技术仅涉及基于由单个摄像机拍摄的捕获图像而执行的摄像机内追踪。另一方面，在将由用于一个摄像机的摄像机内追踪过程所获得的追踪信息与由用于另一个的摄像机内追踪过程所获得的追踪信息关联的摄像机间追踪过程中，会出现错误，以及如果在摄像机间追踪过程中错误真正出现，待跟踪的人员的变更会不经意地出现。该现有技术未提供任何有效的措施来处理可能在摄像机间追踪过程中出现的错误。
做出了本发明来解决现有技术的这些问题，以及本发明的主要目的是提供跟踪辅助装置、跟踪辅助系统和跟踪辅助方法，在监控人员观看由多个摄像机拍摄的捕获图像的同时，保持跟踪特定人员的情况下，能适当地执行辅助过程来减轻监控人员的负担，由此使监控人员流畅地执行跟踪工作，而不会丢失对被监控的人员的观察。
为实现上述目的，本发明的第一方面提供一种跟踪辅助装置，用于通过在显示装置上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在画面中，根据摄像机的实际设置，在表示受监控区域的地图图像上，设置用于显示由各个摄像机拍摄的并且存储在图像存储单元中的捕获图像的多个显示视图，该跟踪辅助装置包括：待跟踪目标设定单元，使在图像存储单元中存储的捕获图像根据诸如捕获时间的特定搜索条件而被显示在显示视图中，以及响应于监控人员在显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标；摄像机选择单元，基于通过处理捕获图像获得的追踪信息，从除了对应于在其上指定待跟踪目标的显示视图的摄像机的摄像机中，选择推断为已经拍摄指定为待跟踪目标的运 动对象的图像的任何摄像机；确认图像呈现单元，基于与设定为待跟踪目标的运动对象有关的追踪信息，从通过由摄像机选择单元选择的每一摄像机拍摄的捕获图像中，提取确认图像，该确认图像是当开始运动对象的追踪时，通过由摄像机选择单元选择的每一摄像机拍摄的并且假定包括运动对象的捕获图像，以及使显示装置显示在其中设置一个或多个确认图像的待跟踪目标确认画面；以及回放单元，回放单元执行随着时间流逝，在多个显示视图中，顺序地显示由确认图像呈现单元从中提取一个或多个确认图像的捕获图像的连续回放。
根据该结构，在显示装置上显示画面，使得根据摄像机的实际设置，在表示受监控区域的地图图像上，设置用于显示由各个摄像机拍摄的捕获图像的多个显示视图，以及在这些显示视图中显示指定为待跟踪目标的运动对象，因此，监控人员能易于检查指定为待跟踪目标的运动对象，在受监控区域中执行了何种行为。特别地，由于基于追踪信息，在显示视图中显示假定包括设定为待跟踪目标的运动对象的一个或多个确认图像，通过检查每一确认图像是否真正包括指定为待跟踪目标的运动对象，监控人员能易于确定与指定为待跟踪目标的运动对象有关的追踪信息是否包括错误。
在本发明的第二方面中，跟踪辅助装置进一步包括画面生成单元，该画面生成单元包括：待跟踪目标指示单元，提供第一高亮显示，以高亮显示与设定为待跟踪目标的运动对象有关的运动对象边框；以及显示视图指示单元，提供第二高亮显示，以在执行连续回放的连续回放画面中，高亮显示与设定为待跟踪目标的运动对象目前出现的显示视图有关的显示边框。
根据该结构，当用户(监控人员)在观看由多个摄像机拍摄并且在画面上显示的捕获图像的同时，保持跟踪指定为待跟踪目标的运动对象时，监控人员能马上从多个显示视图中，找到指定为待跟踪目标的运动对象出现的显示视图，因此，能减轻执行跟踪任务的监控人员 的负担，以及能在不丢失对指定为待跟踪目标的运动对象的观察的情况下，流畅地执行跟踪任务。
在本发明的第三方面中，在追踪信息中，中断设定为待跟踪目标的运动对象的追踪的情况下，显示视图指示单元同时指示分别显示在中断追踪的时段前后包括设定为待跟踪目标的运动对象的捕获图像的两个显示视图。
当中断指定为待跟踪目标的运动对象的追踪时，不能识别指定为待跟踪目标的运动对象目前出现的显示视图，但指定为待跟踪目标的运动对象出现在分别显示中断追踪的时段前和后的运动对象的两个显示视图的一个或两个中是可能的。根据上述结构，同时指示两个显示视图，由此，监控人员能在不丢失对运动对象的观察的情况下，执行跟踪任务。
在本发明的第四方面中，跟踪辅助装置进一步包括：候选选择单元，当在与设定为待跟踪目标的运动对象有关的追踪信息中存在错误时，候选选择单元基于追踪信息，将与设定为待跟踪目标的运动对象具有高相关度的一个或多个运动对象选择为一个或多个候选；候选图像呈现单元，将其中包括选择为一个或多个候选的一个或多个运动对象的一个或多个捕获图像提取为一个或多个候选图像，以及使显示装置显示候选选择画面，在候选选择画面中设置一个或多个候选图像，使得监控人员在候选选择画面上选择其中包括指定为待跟踪目标的运动对象的候选图像；以及追踪信息校正单元，将待跟踪目标改变成包括在在候选选择画面上选择的候选图像中的运动对象，并且校正与设定为待跟踪目标的运动对象有关的追踪信息。
根据该结构，仅要求监控人员选择指定为待跟踪目标的运动对象出现的候选图像，因此，能易于校正与指定为待跟踪目标的运动对象有关的追踪信息，并且能减轻监控人员的负担。
在本发明的第五方面中，关于在监控人员在其上指定待跟踪的运动对象的待跟踪目标指定图像的捕获时间前、后或前后均发生的事件，执行由摄像机选择单元和回放单元执行的过程。
根据该结构，监控人员能掌握在当运动对象被指定为待跟踪目标时的时间前的运动对象的状态和/或在指定运动对象时的时间后的运动对象的状态。
在本发明的第六方面中，提供一种跟踪辅助系统，用于通过在显示装置上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在画面中，根据摄像机的实际设置，在表示受监控区域的地图图像上，设置用于显示由各个摄像机拍摄的并且存储在图像存储单元中的捕获图像的多个显示视图，该跟踪辅助系统包括：拍摄受监控区域的图像的摄像机；显示画面的显示装置；以及多个信息处理装置，其中，多个信息处理装置共同包括：追踪处理单元，追踪从由摄像机拍摄的捕获图像检测的一个或多个运动对象并且生成每一运动对象的追踪信息；待跟踪目标设定单元，使在图像存储单元中存储的捕获图像根据诸如捕获时间的特定搜索条件被显示在显示视图中，以及响应于监控人员在显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标；摄像机选择单元，基于从追踪处理单元获得的追踪信息，从除了对应于在其上指定待跟踪目标的显示视图的摄像机的摄像机中，选择推断为已经拍摄指定为待跟踪目标的运动对象的图像的任何摄像机；确认图像呈现单元，基于与设定为待跟踪目标的运动对象有关的追踪信息，从通过摄像机选择单元选择的每一摄像机拍摄的捕获图像中，提取确认图像，确认图像是当开始运动对象的追踪时，由摄像机选择单元选择的每一摄像机拍摄的并且假定包括运动对象的捕获图像，以及使显示装置显示在其中设置一个或多个确认图像的待跟踪目标确认画面；以及回放单元，执行随着时间流逝，在多个显示视图中，顺序地显示由确认图像呈现单元从一 个或多个确认图像提取的捕获图像的连续回放。
根据该结构，与上述根据本发明的第一方面的结构类似，在监控人员观看由多个摄像机拍摄并且在显示装置的屏幕上显示的捕获图像的同时，保持跟踪特定运动对象的情况下，可以适当地执行辅助过程来减轻监控人员的负担，由此使监控人员在不丢失对待跟踪运动对象的观察的情况下，流畅地执行跟踪任务。
在本发明的第七方面中，提供一种跟踪辅助方法，用于通过在显示装置上显示画面，辅助监控人员执行跟踪待跟踪的运动对象的任务，在画面中，根据摄像机的实际设置，在表示受监控区域的地图图像上，设置用于显示由各个摄像机拍摄的并且存储在图像存储单元中的捕获图像的多个显示视图，该跟踪辅助方法包括：使在图像存储单元中存储的捕获图像根据诸如捕获时间的特定搜索条件被显示在显示视图中，以及响应于监控人员在显示视图之一上执行的、指定待跟踪的运动对象的输入操作，将所指定的运动对象设定为待跟踪目标的步骤；基于通过处理捕获图像获得的追踪信息，从除了对应于在其上指定待跟踪目标的显示视图的摄像机的摄像机中，选择推断为已经拍摄指定为待跟踪目标的运动对象的图像的任何摄像机的步骤；基于与设定为待跟踪目标的运动对象有关的追踪信息，从通过选择的步骤选择的每一摄像机拍摄的捕获图像中，提取当开始运动对象的追踪时，由通过选择的步骤选择的每一摄像机拍摄的并且假定包括运动对象的捕获图像的确认图像，以及使显示装置显示在其中设置一个或多个确认图像的待跟踪目标确认画面的步骤；以及执行随着时间流逝，在多个显示视图中，顺序地显示通过提取的步骤从捕获图像提取一个或多个确认图像的捕获图像的连续回放的步骤。
根据该结构，与上述根据本发明的第一方面的结构类似，在监控人员观看由多个摄像机拍摄并且在显示装置的屏幕上显示的捕获图像的同时，保持跟踪特定运动对象的情况下，可以适当地执行辅助过程 来减轻监控人员的负担，由此使监控人员在不丢失对待跟踪运动对象的观察的情况下，流畅地执行跟踪任务。
附图说明
现在，将参考附图，根据优选实施例，在下文中描述本发明，其中：
图1是示出根据本发明的实施例的跟踪辅助系统的整体配置的图；
图2是示出商店中的摄像机1a-1d的设置的透视图；
图3是示意性地示出PC3的配置的功能框图；
图4是示出将在监视器7上显示的待跟踪目标指定画面的说明图；
图5是示出将在监视器7上显示的待跟踪目标确认画面的说明图；
图6是示出将在监视器7上显示的候选选择画面的说明图；
图7是示出在监视器7上显示的连续回放画面的说明图；
图8是示出分别由摄像机内追踪处理装置4和摄像机间追踪处理单元5执行的摄像机内追踪过程和摄像机间追踪过程的状态的说明图；
图9是示出由PC3的各个单元执行的过程的流程和在各个画面上，由监控人员执行的操作的流程图；
图10是示出在连续回放画面中，向一个或多个显示视图提供高亮显示的边框图像的状态的转变的说明图；
图11是示出在监视器7上显示的待跟踪目标确认画面的说明图；
图12是示出将在监视器7上显示的候选选择画面的说明图；
图13是示出将在监视器7上显示的候选选择画面的说明图；以及
图14是示出将在监视器7上显示的候选选择画面的说明图。
具体实施方式
在下文中，将参考附图，描述本发明的实施例。在下述描述中，具有基本上相同含义的术语“跟踪”和“追踪”共存。这仅是为了说明方便。术语“跟踪”主要用在与监控人员紧密相关的配置的描述中，而术语“追踪”主要用在与装置的内部功能/过程紧密相关的配置的描 述中。
图1是示出根据本实施例的跟踪辅助系统的整体配置的图。该跟踪辅助系统被配置用在零售店，诸如超市等等中，并且包括摄像机1a-1d、记录器(图像记录装置)2、PC(个人计算机)(跟踪辅助装置)3和摄像机内追踪处理装置4。
摄像机1a-1d安装在商店中的适当位置来捕获商店中被监控区域的图像，以及将由此获得的图像信息记录在记录器2中。
PC3与执行各种输入操作的输入装置6，诸如监控人员的鼠标，以及显示监控画面的监视器(显示装置)7相连。应注意到输入装置6和监视器7可以实施为触摸面板显示器。
PC3设置在商店的安全站等等中，使得监控人员(诸如保安人员)能查看在监视器7上显示的监控画面中所示的、由摄像机1a-1d所拍摄的商店内部的实时图像或在记录器2中记录的商店内部的过去图像。
安装在管理办公室中的PC11也连接图中未示出的监视器，使得管理办公室的用户能通过查看由摄像机1a-1d拍摄的商店内部的实时图像或在记录器2中记录的商店的过去图像，检查商店中的情形。
摄像机内追踪处理装置4执行追踪由各个摄像机1a-1d拍摄的捕获图像检测的一个或多个人员(运动对象)和对每一人员生成追踪信息(摄像机内追踪信息)的过程。该摄像机内追踪过程可以通过使用已知的图像识别技术(人检测技术、人员跟踪技术等等)来执行。
PC3进一步包括摄像机间追踪处理单元5。摄像机间追踪处理单元5执行从摄像机内追踪处理装置4获得摄像机内追踪信息和将通过摄像机内追踪过程，以及彼此关联从由摄像机1a-1d拍摄的捕获图像检 测的人员的过程，使得连续地追踪由多个摄像机中的不同摄像机拍摄的捕获图像上的人员。
在本实施例中，每一摄像机内追踪处理装置4被配置成与PC3无关地始终执行摄像机内追踪过程。然而，可以响应于来自PC3的指令，执行追踪过程。此外，尽管优选每一摄像机内追踪处理装置4对从由相应的摄像机拍摄的捕获图像检测的所有人执行追踪过程，但可以仅针对被指定为待跟踪的目标的人和与该人高度相关的一个或多个人，执行追踪过程。
图2是商店中的摄像机1a-1d的设置的透视图。在商店中的所示受监控区域中，在商品陈列空间之间，提供通道；以及安装第一至第四摄像机1a-1d来主要捕获这些通道的图像。
当人通过通道时，由第一至第四摄像机1a-1d中的一个或多个捕获该人的图像，以及捕获该人的图像的一个或多个摄像机随该人的运动而改变。在本实施例中，将描述该人运动，使得按第一摄像机1a、第二摄像机1b和第三摄像机1c的顺序，由第一至第三摄像机1a-1c捕获该人的图像的示例，尽管该人的运动路径不限于此示例。
接着，将描述由图1中所示的PC3执行的跟踪辅助处理。图3是示意性地示出PC3的配置的功能框图。图4-7是示出在监视器7上显示的画面的说明图。首先，将说明图4-7中所示的画面的略图。
图4示出待跟踪目标指定画面，允许用户(监控人员)在有人实施诸如入店行窃的非法行为时的日期和时间所捕获图像上，指定期望跟踪的人员。图5示出待跟踪目标确认画面，包括基于由摄像机内追踪处理装置4和摄像机间追踪处理单元5获得的追踪信息提取的确认图像，以允许监控人员检查该追踪信息是否包括错误。图6示出候选选择画面，显示多个候选图像，即，分别包括用于指定为待跟踪目标 的人员的候选的图像，使得监控人员能选择包括指定为待跟踪目标的人员的候选图像。图7包括图7A-7C，以及示出连续回放画面，用于执行随着时间流逝，顺序地显示包括待跟踪的对象(人员)的捕获图像的连续回放。
在图4、5和7所示的画面中，在表示处于根据摄像机1a-1d的真实设置的位置的受监控区域的地图图像41上，设置用于各个摄像机1a-1d的摄像机标志(描绘摄像机的图像)42。此外，在各个摄像机标志42的附近，设置显示由各个摄像机1a-1d拍摄的捕获图像的多个显示视图(显示部分)43a-43d。
以指示各个摄像机1a-1d的成像方向的角度显示摄像机标志42，由此监控人员能大致地了解摄像机1a-1d的成像区域。在基本上对应于各个摄像机1a-1d的成像原因的位置，设置显示视图43a-43d，由此监控人员能大致了解在显示视图43a-43d的每一个中，显示由地图图像41表示的受监控区域的哪一部分。
此外，在图4-7所示的画面中，用人员检测框47示出在显示视图43a-43d中显示的捕获图像中检测的每一人。此外，用指示该人是待跟踪的目标的人员检测框48显示设定为待跟踪的目标的人员。用彩色(例如绿色)高亮显示该人员检测框48以便将该人员检测框48与所检测的其他人员关联地示出的检测框47区分开来。
接着，将描述图3中所示的PC3的每一单元。PC3除摄像机间追踪处理单元5外，还包括追踪信息处理单元21、追踪信息存储单元22、待跟踪目标设定单元23、摄像机选择单元24、待跟踪目标确认单元25、待跟踪目标校正单元26、图像回放单元27和画面生成单元28。
追踪信息处理单元21执行从摄像机内追踪处理装置4和摄像机间追踪处理单元5获得追踪信息以及将追踪信息存储在追踪信息存储单 元22中的过程。
待跟踪目标设定单元23执行在监视器7上显示在显示视图43a-43d中，显示在记录器2中存储的捕获图像的待跟踪目标指定画面，以及响应于由监控人员在显示视图43a-43d之一上执行的、指定待跟踪人员的输入操作，将指定人员设定为待跟踪目标的过程。使用诸如鼠标的输入装置6执行监控人员的该输入操作。应注意到在执行指定待跟踪目标(人员)的操作的该显示视图43a-43d之一中显示的捕获图像在下文中将称为待跟踪目标指定图像。
摄像机选择单元24执行从追踪信息存储单元22，获得与设定为待跟踪目标的人员有关的追踪信息，以及基于追踪信息，选择推断为已经拍摄设定为待跟踪目标的人员的图像的摄像机1a-1d的任何一个，而不是对应于指定待跟踪目标的显示视图43a-43d之一的摄像机1a-1d之一。
待跟踪目标确认单元25包括确认图像呈现单元31。确认图像呈现单元31执行从追踪信息存储单元22获得与设定为待跟踪目标的人员有关的追踪信息，以及基于追踪信息，将假定包括该人员的捕获图像提取为确认图像，使得在监视器上，显示设置确认图像的待跟踪目标确认画面的过程。在提取确认图像的过程中，基于追踪信息，从记录器2检索假定包括设定为待跟踪目标的人员的捕获图像。
由此，通过检查在待跟踪目标确认画面中显示的每一确认图像是否与指定为待跟踪目标的人员有关，监控人员能确定与指定为待跟踪目标的人员有关的追踪信息是否包括错误。
如果发现一些确认图像与不同于指定为待跟踪目标的人员的一个或多个人员有关，即，如果确认图像仅包括不同于指定为待跟踪目标的人员的一个或多个人员，或如果确认图像包括指定为待跟踪目标的 人员，但与指定为待跟踪目标的人员不同的人员关联地显示指示待跟踪目标的人员检测框48，则与指定为待跟踪目标的人员有关的追踪信息包括错误。
待跟踪目标校正单元26包括候选选择单元33、候选图像呈现单元34和追踪信息校正单元35。
候选选择单元33执行从追踪信息存储单元22获得每一人员的追踪信息，以及基于该追踪信息，将与设定为待跟踪目标的人员高度相关的人选择为候选的过程。当监控人员发现与指定为待跟踪目标的人员有关的追踪信息有错误时，响应于由监控人员执行的指令操作，执行该候选选择过程。在候选选择过程中，基于该人员的检测时间(图像帧的捕获时间)、该人员的检测位置、该人员的运动速度、该人员的图像的颜色信息等等，获得每一人员的相关度。通过使用模板提取颜色的方法，获得每一人员的图像的颜色信息。此外，候选选择单元33根据它们各自的相关度，排序选择为候选的人员(在下文中，候选人员)。
候选图像呈现单元34执行对在候选选择单元33中，选择为候选的每一人，提取包括该人并且在监视器7上显示候选选择画面的捕获图像(该捕获图像可以称为候选图像)的过程，在该候选选择画面中，设置候选图像，使得监控人员能在该候选选择画面上，选择包括指定为待跟踪目标的人员的候选图像。在提取候选图像的过程中，基于与每一候选人员有关的追踪信息，从记录器2获得包括候选人员的捕获图像。
具体地，在本实施例中，执行从在追踪信息存储单元22中存储的追踪信息，获得待跟踪目标指定图像和每一候选图像的捕获时间以及捕获这些图像的摄像机1a-1d的标识信息，以及在候选选择画面上设置待跟踪目标指定图像和候选图像，使得它们按捕获时间的顺序被排列 和基于拍摄这些图像的摄像机1a-1d被分组。此外，候选图像呈现单元34执行从与选择为候选的每一人员有关的追踪信息，获得该人员的追踪时段，以及在候选选择画面中，与相应的候选图像关联地显示表示该追踪时段的图像的过程。同样地，候选图像呈现单元34执行在候选选择画面的初始状态中，使捕获图像显示为静态图像，以及在监控人员的指令操作后，使捕获图像显示为运动图像的过程。
追踪信息校正单元35执行使待跟踪目标改变成与在候选选择画面上选择的候选图像有关的目标，以及校正与指定为待跟踪目标的人员有关的追踪信息的过程。即，当在上述确认图像的任何一个中指示为待跟踪目标的人员不同于指定为待跟踪目标的人员时，认为设定为待跟踪目标的人员的不经意改变已经发生，由此，基于与设定为待跟踪的正确目标的人员有关的追踪信息，校正与指定为待跟踪目标的人员有关的追踪信息。将由此校正的追踪信息存储在追踪信息存储单元22中。
应注意到，关于在时间上，在监控人员指定待跟踪人员的待跟踪目标指定图像的捕获时间前、后或前后均发生的事件，执行由摄像机选择单元24、待跟踪目标确认单元25和待跟踪目标校正单元26执行的上述过程的每一个。
图像回放单元27执行在相应的显示视图43a-43d中，显示由摄像机选择单元24选择的摄像机1a-1d的捕获图像的过程。特别地，在本实施例中，图像回放单元27执行连续回放，使得随着时间流逝，在显示视图43a-43d中，顺序地显示包括指定为待跟踪目标的人员的捕获图像的过程。
画面生成单元28生成将在监视器7上显示的画面，以及包括基础画面生成单元36、显示视图指示单元37、待跟踪目标指示单元38和捕获图像处理单元39。
画面生成单元28响应于来自待跟踪目标设定单元23的指令，生成图4中所示的待跟踪目标指定画面、响应于来自确认图像呈现单元31的指令，生成图5中所示的待跟踪目标确认画面、响应于来自候选图像呈现单元34的指令，生成图6中所示的候选选择画面，以及响应于来自图像回放单元27的指令，生成图7中所示的连续回放画面。
基础画面生成单元36执行生成在表示受监控区域的地图图像41上，设置用于各个摄像机1a-1d的摄像机标志42和将显示由各个摄像机1a-1d拍摄的捕获图像的多个显示视图43a-43d的空白边框(不包括捕获图像)的基础画面(背景画面)的过程。
显示视图指示单元37执行在连续回放画面中，指示指定为待跟踪目标的人员目前出现的显示视图43a-43d之一的过程。具体地，在本实施例中，用高亮显示提供指定为待跟踪目标的人员目前出现的该显示视图43a-43d之一，以便将其与其他显示视图43a-43d区分开来。更具体地说，作为高亮显示，显示通过预定颜色着色的边框图像45，使得它位于待高亮显示的该显示视图43a-43d之一的外周上。在该显示视图指示过程中，获得与指定为待跟踪目标的人员有关的追踪信息，并且基于该追踪信息，指示指定为待跟踪目标的人员目前出现的显示视图43a-43d之一。
待跟踪目标指示单元38执行从追踪信息存储单元22获得追踪信息，并且基于该追踪信息，在设定为待跟踪目标的人员出现的显示视图43a-43d的每一个中，指示设定为待跟踪目标的人员的过程。具体地，在本实施例中，用高亮显示提供在显示视图43a-43d中显示的、设定为待跟踪目标的人员的图像，以便将该人员与其他人区分开来。更具体地说，作为高亮显示，通过指示该人员是待跟踪目标的人员检测框48，示出设定为待跟踪目标的人员。通过能将人员检测框48与从捕获图像检测的每一人关联地示出的人员检测框47区分开来的颜色(例如绿 色)，高亮显示该人员检测框48。
捕获图像处理单元39执行在由基础画面生成单元36生成的基础画面中，将从记录器2获得的捕获图像嵌入相应的显示视图43a-43d中的过程。
应注意到通过由PC3的CPU，执行用于跟踪辅助的程序，实现图3中所示的PC3的各个单元。这些程序可以预安装在用作信息处理装置的PC3中来实施专用于跟踪辅助的装置，或可以以存储在适当的程序记录介质中，作为能在通用OS上运行的应用程序的形式提供给用户。
接着，将描述在摄像机内追踪处理装置4和摄像机间追踪处理单元5中，追踪信息的错误发生的情形。图8是示出分别由摄像机内追踪处理装置4和摄像机间追踪处理单元5执行的摄像机内追踪过程和摄像机间追踪过程的状态的说明图。其中，将描述两个人A和B类似地运动，使得由图2中所示的第一至第三摄像机1a-1c捕获他们的图像的示例。
第一摄像机1a的摄像机内追踪处理装置4从由第一摄像机1a拍摄的捕获图像，检测人员A和B并且分别向人员A和B分配人员ID(Id＝01，Id＝02)。第二摄像机1b的摄像机内追踪处理装置4从由第二摄像机1b拍摄的捕获图像，检测人员A和B并且分别向人员A和B分配人员ID(Id＝03，Id＝04)。在该示例中，具体地，中断人员A的追踪以及花时间来检测人员B，使得延迟人员B的追踪的开始。第三摄像机1c的摄像机内追踪处理装置4从由第三摄像机1c拍摄的捕获图像检测人员A和B并且分别向人员A和B分配人员ID(Id＝05，Id＝06)。
PC3的摄像机间追踪处理单元5执行从第一至第三摄像机1a-1c的摄像机内追踪处理装置4的每一个获得追踪信息以及将从来自用于 一个摄像机的摄像机内追踪处理装置4的追踪信息检测的一个或多个人员与从来自另一摄像机的摄像机内追踪处理装置的追踪信息检测的一个或多个人员关联的过程。具体地，在所示的示例中，由于在用于第二摄像机1b的摄像机内追踪处理装置4中引起的追踪的中断和延迟，在第二摄像机1b和第三摄像机1c之间的摄像机间追踪过程中出现错误，使得人员A和人员B互换。在这种情况下，如果在对应于第三摄像机1c的显示视图43c上，将人员A指定为待跟踪目标，分别在对应于第一摄像机1a和第二摄像机1b的第一显示视图43a和第二显示视图43b中，将人员B显示为待跟踪目标。
由此，如果从摄像机间追踪处理单元5获得的追踪信息包括错误，在显示视图43a-43d中，不同于指定为待跟踪目标的人员的人将被显示为待跟踪目标，由此可以验证追踪信息是否包括错误。如果通过该验证，在追踪信息中发现错误，执行使监控人员选择正确的人员作为待跟踪目标并且相应地校正追踪信息的过程。
接着，将详细地描述在图4-7中所示的各个画面以及在这些画面上，由监控人员执行的操作。图9是示出由图3中所示的PC3的各个单元执行的过程和监控人员在画面上执行的操作的流程图。
首先，当执行开始跟踪辅助过程的操作时，在监视器7上显示图4中所示的待跟踪目标指定画面，并且监控人员在待跟踪目标指定画面上，执行指定日期和时间的操作(ST101)。待跟踪目标指定画面的上半部分具有用于日期和时间的输入字段，如果监控人员指定日期和时间(年、月、日、时、分和秒)并且操作“搜索”按钮，在各个显示视图43a-43d中，显示在指定日期和时间，由摄像机1a-1d拍摄的捕获图像(静态图像)(ST102)。应注意到当已知待跟踪的人员实施诸如入店行窃的行为时的日期和时间时，由此，基于该日期和时间，能发现必定包括待跟踪人员的捕获图像。
在待跟踪目标指定画面中，监控人员执行将人员指定为待跟踪目标的操作(ST103)。具体地，监控人员使用诸如鼠标的输入装置6来将指针9移动到包括在显示视图43a-43d之一中显示的捕获图像中的期望跟踪的人员的图像上，并且执行用于选择该人员的操作(在鼠标的情况下，点击操作)。在图4所示的示例中，待跟踪人员出现(或被显示)在对应于第三摄像机1c的第三显示视图43c中并且该人员被指定为待跟踪目标。
如上所述，在监控人员在待跟踪目标指定画面上，执行将人员指定为待跟踪目标的操作时，摄像机选择单元24执行选择被推断为已经拍摄到指定为待跟踪目标的人员的图像的摄像机1a-1d中的任何一个的过程(ST104)。然后，待跟踪目标确认单元25的确认图像呈现单元31执行使监视器7显示图5中所示的待跟踪目标确认画面的过程(ST105)，在该待跟踪目标确认画面中，设置假定包括指定为待跟踪目标的人员的确认图像。
在图5所示的待跟踪目标确认画面中，在对应于被选摄像机1a-1d的一个或多个的显示视图43a-43d的一个或多个的每一个中，显示确认图像，其中，在一个显示视图中显示的确认图像是由相应的摄像机拍摄的并且假定包括指定为待跟踪目标的人员的图像。即，在一个显示视图中显示的确认图像是从由相应的摄像机拍摄的捕获图像中选择的并且假定包括指定为待跟踪目标的人员的代表性图像(静态图像)。代表性图像可以是当开始指定为待跟踪目标的人员的追踪时拍摄的捕获图像，换句话说，第一次检测到指定为待跟踪目标的人员的捕获图像。在待跟踪目标确认画面的每一显示视图43a-43d中，与捕获图像中的每一人员(如果有的话)关联，显示人员检测框47，具体地，与设定为待跟踪目标的人员关联，显示指示待跟踪目标的人员检测框48。
在待跟踪目标确认画面的下部具有回放按钮、反向回放按钮、停止按钮、快进按钮和倒带按钮。在操作这些按钮后，在显示视图43a-43d 中，将由各个摄像机1a-1d拍摄的捕获图像显示为运动图像，使得在一些显示视图43a-43d中，将假定捕获指定为待跟踪目标的人员的捕获图像显示为运动图像。这使得用户(监控人员)可以通过观看运动图像，确认待跟踪目标是否正确。
在与指定为待跟踪目标的人员有关的追踪信息包括错误的情况下，在待跟踪目标确认画面中，在一些显示视图43a-43d中显示的一个或多个确认图像可能不包括指定为待跟踪目标的人员，或即使每一确认图像示出指定为待跟踪目标的人员，与不同于指定为待跟踪目标的人员的人关联地显示人员检测框48。由此，用户(监控人员)可以通过观看确认图像，确定与指定为待跟踪目标的人员有关的追踪信息是否包括错误。
如果监控人员从待跟踪目标确认画面发现在显示视图43a-43d的任何一个中显示的待跟踪目标不正确(ST106为否)，监控人员指令显示用于待跟踪的正确目标的候选；具体地，选择不正确地指示待跟踪目标的显示视图43a-43d之一并且操作“手动搜索”按钮(ST107)。此后，待跟踪目标校正单元26的候选选择单元33执行将与指定为待跟踪目标的人员具有高相关度的人员选择为候选的过程(ST108)。接着，候选图像呈现单元34执行将包括由候选选择单元33选择为候选的各个人员的捕获图像提取为候选图像，并且使监视器7显示图6所示的候选选择画面的过程(ST109)。
在图6所示的候选选择画面中，显示由对应于在图5所示的待跟踪目标确认画面中，选择为包括错误的显示视图43a-43d之一的摄像机1a-1d之一拍摄的候选图像，其中，基于分配给候选人员的次序，显示较高等级的候选人员的预定多个候选图像。具体地，在图6所示的示例中，在候选选择画面中，设置四个显示视图51a-51d，其中，分别显示第一至第四等级的候选人员的候选图像。
在该候选选择画面的下部具有“无候选”按钮和“下一个”按钮。如果操作“无候选”按钮，画面回到图5中所示的待跟踪目标确认画面，而不选择任何候选。如果操作“下一个”按钮，显示包括下一等级的候选人员的候选图像。
如果在候选选择画面上，监控人员选择包括指定为待跟踪目标的正确人员的候选图像(ST110)，弹出显示确认按钮，如果操作该确认按钮，画面返回图5中所示的待跟踪目标确认画面。此时，追踪信息校正单元35执行将待跟踪目标改变成在候选选择画面上选择的候选图像中捕获的人员，并且校正与指定为待跟踪目标的人员有关的追踪信息的过程(ST111)。
此后，监控人员在图5所示的待跟踪目标确认画面的所有显示视图43a-43d中，检查待跟踪目标是否正确(ST112)，如果发现存在待跟踪目标不正确的显示视图，监控人员在待跟踪目标确认画面上，选择不正确地指示待跟踪目标的显示视图43a-43d之一，并且操作“手动搜索”按钮(ST107)，由此，重复上述过程和操作。
此后，如果确认在图5所示的待跟踪目标确认画面的所有显示视图43a-43d中，待跟踪目标均正确，监控人员操作在待跟踪目标确认画面的下部提供的回放按钮。此后，图像回放单元27执行随着时间流逝，在显示视图43a-43d中，顺序地显示包括指定为待跟踪目标的人员的捕获图像的连续回放的过程，由此，在监视器7上显示图7中所示的连续回放画面(ST113)。基于与指定为待跟踪目标的人员有关的正确的追踪信息，执行该连续回放，由此，监控人员能明白指定为待跟踪目标的人员在受监控区域中执行了何种行为并且能再次确认追踪信息是否包括错误。
如在上文所述，在本实施例中，在监视器7上显示画面，使得该画面包括表示受监控区域的地图图像41，在该地图图像41上，根据摄 像机1a-1d的实际设置，设置用于显示由各个摄像机1a-1d拍摄的捕获图像的多个显示视图43a-43d，以及在这些显示视图43a-43d中，显示指定为待跟踪目标的人员。这允许监控人员易于检查指定为待跟踪目标的人员，在受监控区域中，执行了何种行为。特别地，监控人员可以从多个显示视图43a-43d中，不太难地发现显示指定为待跟踪目标的人员的那些显示视图，由此，能减轻执行跟踪任务的监控人员的负担，以及能在不丢失对指定为待跟踪目标的人员的观察的情况下，执行跟踪任务。此外，即使当多个人员出现在感兴趣的显示视图43a-43d之一中，能唯一地指定待跟踪人员，由此，可以可靠地指示指定为待跟踪目标的人员出现的显示视图。
在本实施例中，如果在与设定为待跟踪目标的人员有关的追踪信息中有错误，与设定为待跟踪目标的人员具有高相关度的人员被选择为用于待跟踪的正确目标的候选，以及在候选选择画面中，显示各个候选人员出现的候选图像，由此，仅要求监控人员选择指定为待跟踪目标的人员出现的候选图像。因此，能易于实现与指定为待跟踪目标的人员有关的追踪信息的校正，并且能减轻监控人员的负担。
此外，在本实施例中，基于追踪信息，在待跟踪目标确认画面中，显示假定包括设定为待跟踪目标的人员的确认图像，由此，通过检查每一确认图像是否真正包括指定为待跟踪目标的人员，监控人员能易于确定与指定为待跟踪目标的人员有关的追踪信息是否包括错误。
更进一步，在本实施例中，关于时间上，在监控人员指定待跟踪人员的待跟踪目标指定图像的捕获时间前、后或前后均发生的事件，执行由摄像机选择单元24、待跟踪目标确认单元25和待跟踪目标校正单元26执行的上述过程的每一个，由此，监控人员能知道在当执行指定时的时间前和/或后，指定为待跟踪目标的人员的情况。
图10是示出在图7所示的连续回放画面中，边框图像45的状态 的转变的说明图，其中，边框图像45指示指定为待跟踪目标的人员目前出现的显示视图43a-43d之一。其中，描述指定为待跟踪目标的人员运动，使得出现在第一显示视图43a中、然后出现在第二显示视图43b中，接着出现在第三显示视图43c中的示例。
如上所述，在上述实施例中，执行连续回放，使得在多个显示视图43a-43d中，顺序地显示包括指定为待跟踪目标的人员的捕获图像。如图7A-7C所示，在执行连续回放的连续回放画面中，在显示视图43a-43d之一上显示黄色边框图像45，同时该显示视图显示包括指定为待跟踪目标的人员的捕获图像。
在图10所示的示例中，延迟在第二摄像机1b(更准确地说，在第二摄像机1b的摄像机内追踪处理装置4中，在下述描述中，也进行类似的简化)中检测该人员和追踪该人员开始的时刻，使得产生在第二摄像机1b中开始追踪的时刻和在第一摄像机1a中终止该追踪的时刻之间，中断该人员的追踪的时段。在本实施例中，在中断追踪的时段期间，在该时段前后，在分别显示指定为待跟踪目标的人员出现的捕获图像的两个显示视图43a-43d上，同时显示两个黄色边框图像45。在图10所示的示例中，在第一显示视图43a和第二显示视图43b上，同时显示两个黄色边框图像45。
此外，在图10所示的示例中，在第三摄像机1c中检测人员和开始追踪的时刻早于在第二摄像机1b中终止人员的追踪的时刻。在这种情况下，在本实施例中，当在较晚时刻，在开始捕获指定为待跟踪目标的人员的图像的摄像机1a-1d之一中，检测到人员并开始追踪时，停止在摄像机1a-1d之一中开始追踪前的，在对应于已经捕获到指定为待跟踪目标的人员的图像的另一摄像机1a-1d的显示视图43a-43d之一中执行的图像回放和在显示视图43a-43d上的边框图像45的显示。由此，在图10所示的示例中，当在第三摄像机1c中检测到人员并且开始追踪时，开始在对应于第三摄像机1c的第三显示视图43c中的图像回放 和显示视图43c上的边框图像45的显示，与此同时，停止在对应于第二摄像机1b的第二显示视图43b中的图像回放和第二显示视图43b上的边框图像45的显示。
如上所述，在本实施例中，执行连续回放，使得在多个显示视图43a-43d中，顺序地显示包括指定为待跟踪目标的人员的捕获图像，由此能在多个显示视图43a-43d中，连续地跟踪指定为待跟踪目标的人员。因此，监控人员能易于知道指定为待跟踪目标的人员，在受监控区域中，执行了何种行为。
特别地，在本实施例中，执行连续回放的连续回放画面适合于与指定为待跟踪目标的人员目前出现的显示视图43a-43d之一关联，显示边框图像45，由此，能马上发现指定为待跟踪目标的人员出现的显示视图43a-43d之一。这能节省从多个显示视图43a-43d中，发现指定为待跟踪目标的人员目前出现的显示视图的时间，因此，能减轻执行跟踪任务的监控人员的负担，以及能在不丢失对指定为待跟踪目标的人员的观察的情况下，流畅地执行跟踪任务。
当在由摄像机内追踪处理装置4和摄像机间追踪处理单元5执行的追踪过程中，中断指定为待跟踪目标的人员的追踪时，不能识别指定为待跟踪目标的人员目前出现的显示视图43a-43d之一。在这种情况下，指定为待跟踪目标的人员出现在中断追踪的时段的前后，分别显示该人员的两个显示视图43a-43d之一或两个中是非常可能的，因此，在本实施例中，在两个显示视图43a-43d上，同时显示边框图像45。这允许监控人员在不丢失对待跟踪人员的观察的情况下，流畅地执行跟踪任务。
接着，将描述将在监视器7上显示的待跟踪目标确认画面和候选选择画面的另一实施例。图11是示出将在监视器7上显示的待跟踪目标确认画面的说明图。图12-14是分别示出将在监视器7上显示的候选 选择画面的每一个的说明图。应注意到，除在下述描述中提及的点外，该实施例与上述实施例相同。
当在图4所示的待跟踪目标指定画面上，指定待跟踪人员时，显示图11中所示的待跟踪目标确认画面。该待跟踪目标确认画面基本上与图5所示的待跟踪目标确认画面相同，除在待跟踪目标确认画面的下部，显示“时间线搜索”按钮之外。与图5所示的示例类似，当监控人员在该待跟踪目标确认画面上检查待跟踪目标是否正确并且发现待跟踪目标不正确时，监控人员操作该“时间线搜索”按钮。此后，显示图12-14所示的候选选择画面。
在图12-14所示的候选选择画面中，按捕获时间的顺序，设置监控人员指定待跟踪人员的待跟踪目标指定图像61和分别包括选择为用于待跟踪目标的候选的人员的多个候选图像62。具体地，在本实施例中，基于捕获图像的摄像机1a-1d，分组待跟踪目标指定图像61和候选图像62并且按捕获时间的顺序加以排列。
此外，在图12-14所示的候选选择画面中，指定具有最高等级的候选人员，即，与指定为待跟踪目标的人员具有最高相关度的候选人员的候选图像62的尺寸大于其他的候选图像62的尺寸。
在图12-14所示的示例中，在水平方向中排列具有不同捕获时间的候选图像62，以及在垂直方向中排列对应于各个摄像机1a-1d的不同组的候选图像62。然而，可以交换垂直和水平方向，即，可以构造成在垂直方向中排列具有不同捕获时间的候选图像62，以及在水平方向中，排列对应于各个摄像机1a-1d的不同组的候选图像62。此外，在图12-14所示的示例中，将捕获时间的指示设计成时间从左到右倒退。然而，捕获时间的指示可以设计成从左向右前推，相应地，可以改变待跟踪目标指定图像61和候选图像62的排列。
当在图4所示的待跟踪目标指定画面上指定待跟踪人员后，操作图11所示的待跟踪目标确认画面中的“时间线搜索”按钮时，首先显示图12所示的候选选择画面。在所示的示例中，在图12所示的候选选择画面中显示的是当指定对应于第三摄像机1c的显示视图43c来选择指定为待跟踪目标的人员时显示的待跟踪目标指定图像61。此外，因为关于与第一摄像机1a和第二摄像机1b有关的候选图像62，还没有做出选择，因此，还显示与第一摄像机1a有关的候选图像62和与第二摄像机1b有关的多个候选图像62。
当在图12所示的候选选择画面上，选择与第二摄像机1b有关的候选图像62之一时，显示图13所示的候选选择画面。在所示的示例中，在图13所示的候选选择画面中显示的是与第三摄像机1c有关的待跟踪目标指定图像61和为在图12所示的候选选择画面上选择的、与第二摄像机1b有关的候选图像62之一的选择图像65。此外，因为关于与第一摄像机1a有关的候选图像62，还未做出选择，因此，还显示与第一摄像机1a有关的多个候选图像62。
应注意到当摄像机1a-1d仅包括指定为待跟踪目标的人员的捕获图像在时间上早于在将该人员指定为待跟踪目标的显示视图中显示的待跟踪目标指定图像61的捕获时间的那些时，显示图12和图13中所示的候选选择画面，以及在摄像机1a-1d包括指定为待跟踪目标的人员的捕获图像在时间上晚于在该人员被指定为待跟踪目标的显示视图中显示的待跟踪目标指定图像61的捕获时间的那些的情况下，显示图14所示的候选选择画面。
在图14所示的候选选择画面中，除与第三摄像机1c有关的待跟踪目标指定图像61和具有早于待跟踪目标指定图像61的捕获时间的、与第一摄像机1a和第二摄像机1b有关的候选图像62外，显示与第四摄像机1d有关并且具有晚于待跟踪目标指定图像61的捕获时间的另一候选图像62。
由此，在本实施例中，显示在时间上，早于待跟踪目标指定图像61的捕获时间，由一些摄像机1a-1d(在图14所示的示例中，摄像机1a和1b)拍摄的候选图像62和在时间上，晚于待跟踪目标指定图像61的捕获时间、由另一些摄像机1a-1d拍摄的候选图像62，由此，监控人员能掌握待跟踪目标指定图像61的捕获时间前后两者，该人员的运动状态。
此外，在图12-14所示的候选选择画面中，在与待跟踪目标指定图像61、候选图像62和选择图像65的每一个有关的位置(在所示的示例中，每一图像下的位置)，显示箭头图像63来表示指定为待跟踪目标的人员或选择为候选的人员的追踪时段，即，从在捕获图像中检测到该人员时，开始追踪时到终止追踪时的时段。设计该箭头图像63，使得箭头的起点对应于追踪开始时间，以及箭头的终点对应于追踪结束时间。
由此，在本实施例中，由箭头图像63可视地示出在待跟踪目标指定图像61和选择图像65的每一个中包括的、指定为待跟踪目标的人员的追踪时段，以及包括在候选图像62的相应的一个中的每一候选人员的追踪时段，这使得可以马上判断包括在待跟踪目标指定图像61和选择图像65的每一个中的、指定为待跟踪目标的人员与包括在候选图像62的相应的一个中的每一候选人员之间的相关性。
此外，在图12-14所示的候选选择画面中，显示线条图像64(在所示的示例中，虚线图像)来使该人员的运动路径上，与彼此相邻的两个摄像机1a-1d之一有关的箭头图像63与两个摄像机中的另一个有关的箭头图像63连接，其中，如上所述，与待跟踪目标指定图像61、候选图像62或选择图像65关联，显示每一箭头图像63。具体地，在图12-14所示的示例中，显示每一线条图像64来使该人员的运动路径上，与较早捕获的图像有关的箭头图像63的起点与在该人员的运动路 径上，较晚捕获的图像有关的箭头图像63的终点相连。
这些线条图像64使得可以马上判断包括在待跟踪目标指定图像61和选择图像65的每一个中、指定为待跟踪目标的人员与包括在候选图像62的相应的一个中的每一候选人员之间的相关性。即，能判断线条图像64的角度(相对于箭头图像63形成的角度)越大，两个图像在时间上彼此越接近，以及包括在这些图像中的人员之间的相关性越高。
此外，在图12-14所示的候选选择画面中，在初始状态中，将候选图像62显示为静态图像，以及当操作在候选选择画面的下部中提供的回放按钮时，在用于候选图像62的显示部分中，将在每一候选图像62中包括的每一候选人员的各个追踪时段期间拍摄的捕获图像显示为运动图像。此外，当操作用于给定候选图像62的显示部分时，显示具有较大尺寸的弹出画面，以及在该弹出画面中，将捕获图像显示为运动图像，使得用户能在具有较大尺寸的画面中看见该候选人员。
此外，在图12-14所示的候选选择画面中，提供“替代候选”按钮、“无候选”按钮和“手动搜索”按钮。当在当前显示的候选图像62中未找到待跟踪人员并且期望显示包括下一等级的候选人员的候选图像时，操作该“替代候选”按钮。提供“无候选”按钮来当没有适当的候选图像62时，在没有选择的情况下，终止选择适当的候选图像62之一的过程。提供“手动搜索”按钮，用于代替图12-14所示的候选选择画面，显示图6所示的候选选择画面。
如上所述，在本实施例中，在候选选择画面中，按捕获时间的顺序，设置监控人员选择指定为待跟踪目标的人员的待跟踪目标指定图像61和分别包括选择为用于待跟踪目标的候选的人员的多个候选图像62。这使得可以马上判断包括在待跟踪目标指定图像61中、指定为待跟踪目标的人员与包括在候选图像62的相应的一个中的每一候选人员 之间的相关性，由此，能易于选择候选图像62。
具体地，在本实施例中，基于捕获它们的摄像机1a-1d，分组待跟踪目标指定图像61和候选图像62，并且在候选选择画面中，按捕获时间的顺序设置它们。这使得可以通过考虑捕获这些图像的摄像机1a-1d，判断包括在待跟踪目标指定图像61中的、指定为待跟踪目标的人员与包括在候选图像62的相应的一个中的每一候选人员之间的相关性，由此，使候选图像62的选择愈加容易。
此外，在本实施例中，在候选选择画面中，显示表示指定为待跟踪目标的人员或选择为候选的人员的追踪时段的箭头图像63。这允许监控人员能马上掌握包括在待跟踪目标指定图像61中的、设定为待跟踪目标的人员的追踪时段以及包括在候选图像62的相应的一个中的每一候选人员的追踪时段，由此，能使选择候选图像愈加容易。
更进一步，在本实施例中，在候选选择画面的初始状态中，将捕获图像显示为静态图像，在监控人员的指令操作后，将捕获图像显示为运动图像。因此，当期望时，可以通过运动图像，检查每一候选图像是否包括指定为待跟踪目标的人员，由此，能使选择候选图像愈加容易。
在上文中，已经根据其具体实施例，描述了本发明。在上文中，已经根据其具体实施例，描述了本发明。然而，为示例目的提供这些实施例，以及本发明不受实施例限制。还应注意到并非如在本发明的实施例中所示的跟踪辅助装置、跟踪辅助系统和跟踪辅助方法的所有结构元件均是必不可少的，在不背离本发明的精神的情况下，可以适当地有选择地使用它们。
例如，在上述实施例中，描述了将本发明应用于零售店，诸如超市的示例性情形。然而，本发明可以应用于除零售店外的商业机构， 诸如饭店，能是休闲餐厅等等。此外，本发明可以应用于除商业机构外的设施，诸如工厂等等。
此外，在上述实施例中，描述了人员被跟踪为运动对象的示例。然而，能被配置成跟踪除人以外的运动对象，诸如车辆，其可以是汽车、自行车等等。
此外，在上述实施例中，描述了安装四个摄像机1a-1d以及在监控画面中，设置用于分别显示由摄像机1a-1d拍摄的捕获图像的四个显示视图43a-43d的示例，但摄像机1a-1d的数量和显示视图43a-43d的数量不限于此。根据本实施例的配置对更多的显示视图43a-43d特别有利。
此外，在上述实施例中，为在监控画面中高亮显示显示视图43a-43d，在待高亮显示的显示视图43a-43d之一的外周上，分别显示用预定颜色着色的边框图像45、46，但高亮显示不限于这种实施例，以及可以显示预定图像，诸如在显示视图43a-43d的所需一个的附近的内部的标志，和/或显示连接两个显示视图43a-43d的箭头的图像。
此外，在上述实施例中，描述了由摄像机内追踪处理装置4执行摄像机内追踪过程以及由PC3执行摄像机间处理和跟踪辅助过程的示例，如图3所示。然而，也可以由PC3执行摄像机内追踪过程。也可以将摄像机1a-1d的每一个配置成包括摄像机内追踪处理单元。此外，摄像机间追踪处理单元5可以被配置成与PC3分开的追踪处理装置。更进一步，在附图中，将摄像机1a-1d的每一个示为具有有限视角的盒式摄像机。然而，摄像机1a-1d不限于此，也可以使用能捕获宽范围图像的一个或多个全向摄像机。
此外，在上述实施例中，由在商店中安装的装置执行摄像机内追踪过程、摄像机间追踪过程和跟踪辅助过程，但这些过程可以由安装 在管理办公室的PC11或形成云计算系统的云计算机12执行，如图1所示。此外，可以通过多个信息处理装置的协作，执行这些必要的过程，在这种情况下，多个信息处理装置被配置成能经通信介质，诸如IP网络或LAN或存储介质，诸如硬盘和存储卡彼此通信或共享信息。由此，共同地执行必要过程的多个信息处理装置构成跟踪辅助系统。
在这种情况下，优选设置在商店的装置被配置成至少执行摄像机内追踪过程或摄像机间追踪过程。在这种结构中，由于由摄像机内追踪过程或摄像机间追踪过程获得的信息具有少量数据，即使由设置在除商店外的地方的信息处理装置，诸如设置在管理办公室的PC11执行剩余过程，通信负荷会很小，由此，易于以广域网的形式操作系统。
还可以优选将云计算机12配置成至少执行摄像机内追踪过程或摄像机间追踪过程。在这种结构中，尽管摄像机内追踪过程和摄像机间追踪过程要求大量计算，但可以由构成云计算系统的信息处理装置来实现，因此，不必在使用侧，即在商店等等准备高速信息处理装置。此外，由于剩余过程要求少量计算，能将剩余过程执行为设置在商店以便用作销售信息管理装置的信息处理装置的扩展功能，这能减轻用户负担的成本。
云计算机12可以被配置成执行整个所需过程。在这种结构中，变得可以在除设置在商店的PC3和设置在管理办公室的PC11外的移动终端，诸如智能电话13上查看跟踪状态，这允许用户不仅在商店或管理办公室，而且在任何其他地方，诸如用户正进行商务访问的地方，均能查看跟踪状态。
根据本发明的跟踪辅助装置、跟踪辅助系统和跟踪辅助方法能适当地执行辅助过程来减轻在观看由多个摄像机拍摄并且在显示装置的屏幕中显示的捕获图像的同时，跟踪特定人员的监控人员的负担，使得监控人员能在不丢失对被监控人员的观察的情况下继续跟踪，由此， 可用作跟踪辅助装置、跟踪辅助系统和跟踪辅助方法,其通过在显示装置上显示画面，辅助监控人员跟踪待跟踪的运动对象,在画面中，设置多个显示部分来显示由各个摄像机拍摄并且存储在图像存储装置中的捕获图像。