基于图像的库存控制系统和方法 相关申请
本申请要求临时专利申请号为 61/087565， 发明名称为 “基于图像的库存控制系 统” 的优先权， 这里将参照引用其全部内容。
技术领域 本发明涉及一种库存控制系统， 更具体地， 涉及一种基于图像的库存控制系统， 其 基于所采集到的该系统各个存储位置的图像， 来确定存储在该系统中目标的库存状态。
背景技术和发明内容
当在生产或服务环境下使用工具时， 将工具在使用后放回存储单元， 例如工具箱， 是非常重要的。 雇主通常对工具箱进行手工的库存检验以减少或消除高价工具的错放或失 窃的问题。公司可以对雇员的工具箱进行随机的检验以防止失窃并且监视工具位置。
某些产业具有严格的工具库存控制标准， 用于防止工具遗留在可引起严重破坏的 工作环境中的事件。 对于航空工业， 确保没有意外地将工具遗留在正在生产、 安装或修理的
飞行器或导弹中是非常重要的。航空工业协会曾经制定了一种被称为国家航空标准的标 准， 包括推荐的程序、 人员管理与操作以减少航空工业产品的外来物损伤 (FOD)。FOD 被定 义为不属于飞行器结构部分的任意对象。 发现的最普遍的外来物是螺母、 螺钉、 保险丝以及 手用工具。对工具进行库存控制以防止工具被遗弃在飞行器中是非常重要的。
某些工具箱具有嵌入的库存测定部件以跟踪工具箱中所保存的工具的库存状态。 例如， 某些工具箱在每个工具存储位置之内或紧靠处配置有触觉传感器、 磁传感器或红外 传感器， 以检测工具是否处于每个工具存储位置之中。 根据传感器产生的信号， 工具箱能够 确定是否有工具遗失。尽管这类库存检验在某种程度上有用， 其仍然存在许多缺点。例如， 如果传感器检测到某些东西占据着存储位置， 工具箱将判定该存储位置处没有工具遗失。 然而， 工具箱无法得知是正确的工具确实被放回至工具箱内， 还是仅仅是某些物体被放入 该存储位置以欺骗系统。 此外， 在工具箱中的众多存储位置配置传感器是繁重且昂贵的， 并 且大量的传感器容易出现损伤或故障， 这将产生错误的消极或积极的警报。
因此， 需要一种有效的库存控制系统， 其可以帮助跟踪和统计工具的使用， 以及确 定它们在使用之后是否被真正地放回原处。同样还需要一种库存控制系统， 其可以确切的 知道何种工具从工具箱中被移动或放回。此外， 由于多个工作人员可能有权使用同一个工 具箱， 就需要一种库存控制系统， 其可以跟踪用户以及他或她对工具的使用以确定任何工 具损失或错放的责任。
本申请的不同实施例描述了利用特定机器成像实现高度自动化的库存控制系统， 以及用于识别存储单元中的库存状态的一系列方法。 典型的特征包括处理复杂的图像数据 的能力， 该复杂的图像数据具有对系统资源的有效利用、 自动成像以及镜头校准、 通过图像 数据进行工具的特性识别、 对采集库存图像进行自适应计时、 高效的产生用于核对库存状 态的参考数据、 图像质量的自动补偿等等。
这里所公开的一种典型的库存控制系统或方法， 利用高效且经济的方法， 将适当的图像参数用于采集用户所存取的抽屉图像， 或者对所采集的抽屉的图像进行处理。抽屉 的库存状态基于所采集的图像或所处理的图像而确定。 该系统包括用于存储物体的多个存 储抽屉 ； 图像检测装置， 所述图像检测装置配置为采集抽屉的图像 ； 数据存储装置， 用于存 储每个存储抽屉相应的图像参数 ； 以及数据处理器， 其被设置为 ： 确定正被用户存取的抽 屉的标识 ； 存取与所述已确定的抽屉的标识相应的图像参数， 其中该图像参数被图像检测 装置用于采集正被用户存取的抽屉的图像， 或者被数据处理器用于处理正被用户存取的抽 屉的已采集的图像 ； 根据所采集的图像或所处理的图像确定存储在存储抽屉中的物体的库 存状态。
一 方 面， 数据处理器根据每个存储抽屉唯一的标识符或者由传感器产生的 信号状态来确定存储抽屉的标识。另一方面， 所述图像参数包括曝光参数 (exposure parameters)、 快门参数 (shutter parameters)、 光照参数 (illumination parameters) 以 及色彩增益 (color gains) 中的至少一个。图像参数被预存在数据存储装置内， 或者通过 与系统相连接的数据传输网络或可移动存储装置使图像参数可以被系统存取。
这里所描述的典型的系统和方法可利用一个或更多计算机系统和 / 或适当的软 件执行。
应当理解的是， 这里所描述的实施例、 步骤和 / 或特征可以单独地或是与一个或 更多其它步骤、 实施例和 / 或特征结合执行、 使用、 实施和 / 或实践。
本发明另外的优点及非常规设计将要在随后的说明书部分进行部分地描述， 而另 外的部分对本领域技术人员来说经过研究下面的部分或通过实践本发明所学习到的， 将变 得显而易见。所图示和描述的实施例旨在提供实现本发明的最佳方式的例子。本发明能够 在不脱离其精神和范围下， 在各个明显不同的方面进行修改。 相应地， 附图及说明书应当被 认为是本质上是说明性的， 而不是约束性的。本发明的优点可以通过附加的权利要求中所 特别指出的手段和组合而被了解和获得。 附图说明
本发明以举例的方式进行说明， 而不是为了限制， 在随后的附图中， 具有相同附图 标记的元件自始至终表示同样的元件， 并且其中 ：
图 1a 和图 1b 所示的是典型的存储单元， 本发明的各实施例可以据此实施 ；
图 2 所示的是在打开状态下进行处理的典型的存储抽屉的内部详情 ；
图 3 所示的是本发明典型的工具存储系统 ；
图 4a-4c 和图 4e 是图 3 中所示的工具存储系统的不同视图 ；
图 4d 所示的是典型的图像是如何拼接在一起的 ；
图 5 所示的是典型的工具剪切块 (tool cutout)、 缓冲区和膨胀区 ；
图 6a 和图 6b 是为本发明所设计使用的典型的标识符 ；
图 7a-7e 和图 8a-8d 所示的是图像校准的范例 ；
图 9 是典型的网络库存控制系统的方块图 ； 以及
图 10a-10d 是典型的检验记录的示意性图像以及在对依据本发明的典型系统存 取期间所获取的图像。具体实施方式
在下面的说明书中， 为了解释的目的， 将会阐述许多的细节以便提供对本发明彻 底的了解。特别地， 利用机器视觉 (machine vision) 以识别存储单元的库存状态的实施例 具体操作， 被描述在工具管理和工具库存控制的上下文中。尽管如此， 对本领域技术人员 来说明显的是， 本发明的概念在实际应用或实施中可以不具有这些细节。类似的构思可被 使用在其它类型的库存控制系统中， 例如仓库管理、 珠宝库存管理、 敏感或管制物体管理、 微条 (mini bar) 库存管理、 药物管理、 金库或保险箱管理等等。在其他情况中， 公知的结构 和装置展示为方框图的形式， 以免使本发明产生不必要地模糊。本发明自始至终所称的术 语目标、 区域或抽屉的 “( 一个 ) 采集图像” 、 “( 一些 ) 采集图像” 、 “( 一个 ) 图像” 或 “( 一 些 ) 图像” 规定为整个目标、 区域或抽屉的图像， 或者是目的、 区域或抽屉的部分图像。
典型库存控制系统概述
图 1a 和图 1b 所示的是典型的存储单元， 本发明的各库存控制系统可以据此实施。 图 1a 是典型的工具存储系统 100， 其包括多个存储抽屉 120。每个存储抽屉 120 包括多个 用于存储各种类型工具的存储位置。 本发明自始至终所称的存储位置是在存储系统中用于 存储或者固定物体的位置。在一个实施例中， 每个工具在工具存储系统中都具有预先指定 的特定存储位置。 每个存储抽屉在闭合状态和打开状态之间工作， 前者不允许对抽屉中的内容进行 存取， 而后者则允许部分的或完全的对抽屉的内容进行存取。当存储抽屉从闭合状态运行 至打开状态时， 存储抽屉允许对其内容进行增加存取。 反之， 如果当存储抽屉从打开状态运 行至闭合状态时， 存储抽屉允许对其内容进行减少存取。 如图 1a 中所示， 所有存储抽屉 120 都处于闭合状态。
锁定装置可用来控制抽屉 120 中内容的存取。每个单独的抽屉 120 可具有其特有 的锁， 或者多个存储抽屉 120 共用一个公共的锁定装置。仅仅被认证或被批准的用户能够 对抽屉中的内容进行存取。
存储抽屉可具有不同的尺寸、 形状、 布局和配置。图 1b 所示的是另一种类型的工 具存储系统 200， 其包括多个存储架或存储室 220 以及单扇门 250， 用于保护对存储架 220 的存取。存储架或存储室可选用不同的尺寸、 形状、 布局和配置。
图 2 所示的是在打开状态下典型的存储抽屉 120 的内部详情。每个存储抽屉 120 包括具有多个存储位置的泡沫基部 180， 例如工具剪切块 181， 用于存储工具。每个剪切块 被特别地勾勒和定形， 以合适地容纳具有相应形状的工具。通过钩、 尼龙搭扣 (Velcro)、 闩 锁、 来自泡沫的压力等， 工具可被固定在每个存储位置上。
本发明的典型的库存控制系统， 是通过采集并且处理用于存储目标的存储位置的 图像， 来确定目标的库存状态。该系统包括用于执行不同功能的各个子系统， 包括 ： 存储子 系统、 图像子系统、 存取控制子系统、 电源子系统、 用户界面子系统、 数据处理子系统、 传感 器子系统、 以及网络子系统。应当理解的是， 子系统的列表仅仅是属于举例说明的目的， 而 不是穷举。依据本发明的典型的系统可以根据设计选择来决定使用多少不同的子系统。此 外， 不是所有的子系统都必须是库存控制系统的组成部分。 在一个实施例中， 本发明所描述 的各个功能可以在具有连接到数据传输网络的多个子系统的分布式体系结构上实现。 每个 通过数据传输网络连接的子系统构成了整个系统的一部分功能。这样， 整个系统的功能被
分配在通过数据传输网络进行通信的多个子系统之间。 通信方法或整合方法可被制定为允 许通过网络向各个子系统或在库存控制系统以外的数据处理系统无缝的共享信息。 所述方 法可包括传输控制协议 / 互联网协议 (TCP/IP)、 DISCO、 SOAP、 XML、 DCOM、 CORBA、 HTML、 ASP、 Microsoft.NET 协议、 Microsoft.NET Web Services 及其他可选的通信方法。
(1) 存储子系统
存储子系统包括用于存储物体的多个存储位置， 如图 1a、 图 1b 和图 2 中所示。应 当理解的是用于存储物体的其他类型的存储系统可用来作为存储子系统。
(2) 图像子系统
图像子系统包括设置为采集存储位置的部分或全部内容的一个或多个图像检测 装置， 以及提供所需照明的照明装置。图像检测装置可以是镜头摄像机、 CCD 摄像机、 CMOS 摄像机、 视频摄像机、 或可采集图像的任意类型的装置。可选择地， 图像检测装置可包括用 于预处理所采集的图像的预处理装置。预处理的例子包括数据压缩、 增强、 信息恢复、 数据 筛选、 得到在某些预定义区域或兴趣区域以及邻近区域中的感兴趣的物品特征等等。图像 检测装置向图像子系统传输用于供位于本地或远程的数据处理系统处理或观看的原始图 像数据或预处理数据。摄像机可包括用于连接至数据传输网络的网络接口， 所述数据传输 网络用于传输数据， 包括所采集的图像、 预处理的图像、 来源于所采集的图像的信息等等。 (3) 存取控制子系统
存取控制子系统包括一个或多个身份认证装置， 用于识别或认证想要对存储在存 储子系统中的物体进行存取的用户的身份以及权限级别 ； 以及一个或多个用于控制对存储 子系统内的存储位置的存取的锁定装置。例如， 存取控制子系统使某些或所有存储抽屉都 在闭合位置处保持锁定， 直到身份认证装置验证了用户对存储子系统的存取权限。
存取控制子系统可使用一个或多个存取认证装置验证用户的权限级别， 例如通过 使用按键 (key pad) 输入存取代码或密码， 通过密钥卡读取器从密钥卡或表链 (fob) 获取 持有该卡或表链的用户的权限级别， 生物测定方法， 例如指纹读取器或视网膜扫描、 面部 识别、 磁性卡或射频 ID 卡、 近程式传感器 (proximity sensor)、 占有传感器 (occupancy sensor)、 和 / 或人工输入或其他方法。在一个实施例中， 对每个存储位置或存储抽屉的存 取被独立地的控制和许可。基于所赋予的权限或存取级别， 用户可被许可有权使用一个或 多个抽屉， 而其它的则不被允许。
(4) 电源子系统
电源子系统提供并且管理供应给库存存取控制系统的电能。 电源子系统具有一个 或多个电源， 其连接至一个或多个交流电源和 / 或一个或多个储能装置， 例如电池、 和/或 电池充电器。该子系统可同时包括必要的电路和控制器， 用于跟踪系统的供电情况， 例如 在交流电源和电池电源之间的开关， 以及监视电池或电池组的充电状态等等。可以提供外 部充电器以使电池组可以脱离系统进行充电， 并且留作备用以便快速换出系统上的耗尽电 池。在一个实施例中， 远程电池充电器可被连接到与库存控制系统相连的数据网络， 以报 告远程充电器处正被充电的电池的充电情况。在另一个实施例中， 电源子系统与远程连接 至库存控制系统的主计算机相连， 向该主计算机提供提有关库存控制系统的供电情况的信 息， 例如电源故障、 充电情况、 可用电源等等。
(5) 用户界面子系统
用户界面子系统包括用于和库存控制系统的用户进行通讯的装置， 例如一个或多 个显示器、 麦克风、 扬声器、 键盘、 鼠标， 或任何可向用户输出信息和 / 或可使用户输入信息 的其他装置。用户可以是想要存取库存控制系统中的物体或工具的技术人员， 也可以是管 理系统的库存状态的管理人员。
(6) 数据处理子系统
数据处理子系统， 例如电脑， 负责处理由图像子系统的图像检测装置所采集的图 像和 / 或形成库存状态报告。由图像检测装置所采集或形成的图像被数据处理系统处理以 确定库存状态。本发明自始至所称的术语 “库存状态” 指的是与目标的存在或不存在状态 有关的信息。
数据处理子系统可以为与库存控制系统一体的部分 ； 或是与库存控制系统相连的 远程计算机， 其具有数据链路， 例如电线或无线线路 ； 或整合在库存控制系统中的电脑与远 程连接至库存控制系统的电脑的组合。 随后将要论述用于形成图像以及确定库存状态的详 细操作。
在一个实施例中， 数据处理子系统掌握用户和 / 或目标信息和历史记录。用户可 以查询该数据处理子系统， 以便获知状态、 创建用户、 处理异常、 系统维护等等。 在另一个实 施例中， 提供位于库存控制系统以外的主系统， 其通过数据链路或网络与集成在库存控制 系统上的计算机相连， 用于提供监督或维护功能、 观察检验图像、 提供报告以及项目状态和 存储单元的摘要信息等等。 (7) 传感器子系统
根据需要的功能， 除图像子系统之外， 可以提供传感器子系统以检测目标的属性 或兴趣区域或它们的周围。 这些属性可被用于与图像子系统的图像检测装置所获得的图像 信息相结合， 以增强对目标或其状态的识别。 传感器子系统可包括用于感测状态的传感器， 例如压力、 光线、 力、 应变、 磁场、 电容检测、 无线射频识别 (RFID)、 电场、 运动、 加速度、 方向、 方位、 位置、 GPS、 射频三角测量、 光线三角测量、 邻近、 引力场强度和 / 或方向， 接触以及简 单的人工输入或交互可算作输入。
(8) 网络子系统
网络子系统允许各子系统在各子系统之间形成数据通信和 / 或与数据通信网络 和 / 或库存控制系统之外的另一个数据处理系统对接， 以进行数据通信。用于实现网络对 接的装置的例子包括一个或多个以太网转接口、 RS-232、 RS-422、 RS-485、 存取总线、 I2C、 IE 总线、 LIN 总线、 MI 总线、 微丝总线、 MOST、 MPI 总线、 SM 总线、 SPI( 串行外围接口 )、 USB、 WiFi 或其他无线的以太网、 光纤、 Zigbee、 IEEE 802.15.4、 Rubee、 蓝牙、 UWB( 超宽频带 )、 IrDA， 或任何其他适当的窄带或宽带数据通信技术。各个通信接口的组合可被使用在库存 控制系统之内和 / 或之外。
根据一个实施例， 工作循环如下 ： 存取控制子系统接收用户标识信息。 数据处理子 系统验证该用户， 并且通过以太网和 TCP/IP 发送指令以启动图像检测装置， 通过图像子系 统调整照明以便可以使用并且开锁。图像检测装置获得存储位置的图像， 并且将所采集的 图像拼接在一起以评定与目标相关的兴趣区域。 图像子系统计算所采集的图像的属性并且 将该属性通过以太通信网络发送至数据处理子系统以用于进一步的评定。 数据处理子系统 计算该属性并且确定库存状态， 更新库存数据库中的记录， 并且向用户提供反馈。 一旦用户
中止该系统， 数据处理子系统通过以太网通信网络发送指令以终止会话、 关紧抽屉、 并且关 掉图像子系统内的照明和图像检测装置。
图 3 所示的是典型的库存控制系统， 其被实施为工具存储系统 300， 在本发明中用 于存储工具。存储系统 300 包括显示器 305， 存取控制装置 306， 例如读卡器， 用于验证将要 存取存储系统 300 的用户的身份和权限级别， 多个用于存储工具的工具存储抽屉 330。 工具 存储系统 300 包括图像检测装置， 其被设置为采集系统的内容或存储位置的图像。图像检 测装置可以是镜头摄像机、 CCD 摄像机、 CMOS 摄像机、 视频摄像机， 或可采集图像的任意类 型的装置。
系统 300 包括数据处理系统， 例如电脑， 用于处理图像检测装置所采集的图像。由 图像检测装置所采集或形成的图像被数据处理系统处理以确定系统或每个存储抽屉的库 存状态。本发明自始至所称的术语 “库存状态” 指的是与存储系统内目标的存在或不存在 状态有关的信息。
数据处理系统可以是工具存储系统 300 的一部分 ； 与工具存储系统 300 相连的远 程计算机， 其具有数据链路， 例如电线或无线线路 ； 或整合在存储系统 300 中的电脑与远程 连接至存储系统 300 的电脑的组合。随后将要论述用于形成图像以及确定库存状态的详细 操作。
抽屉 330 与图 1a 中所示的那些抽屉 120 相似。显示器 305 是存储系统 330 的输 入和 / 或输出装置， 其被设置为将信息显示给用户。可以通过各种类型的输入装置进行信 息输入， 例如键盘、 鼠标、 声音识别、 触摸板输入等等。存取控制装置 306 用来限制或允许对 工具存储抽屉 330 的存取。存取控制装置 306， 通过使用一个或多个锁定装置， 将某些或全 部存储抽屉 330 在闭合位置处保持锁定， 直到存取控制装置 306 确认了存取存储系统 300 的用户权限。
存取控制装置 306 可使用一个或多个存取认证装置验证用户的权限级别， 例如通 过使用按键输入存取代码或密码， 通过密钥卡读取器从密钥卡或表链获取持有该卡或表链 的用户的权限级别， 生物测定方法， 例如指纹读取器或视网膜扫描、 或其他方法。如果存取 控制装置 306 确定用户被授权存取存储系统 300， 其根据用户的权限级别打开某些或全部 存储抽屉 330， 允许该用户移动或替换工具。在一个实施例中， 对每个存储抽屉 300 的存取 被独立地的控制和许可。基于所赋予的权限或存取级别， 用户可被许可有权使用系统 300 的一个或多个抽屉， 而其他抽屉则不被允许。在一个实施例中， 存取控制装置 306 在用户关 闭抽屉之后再次锁定存储抽屉 330。
存取控制装置 306 的位置不局限于在存储系统 300 的前方。其可以被配置在系统 的顶部或系统的侧面。在一个实施例中， 存取控制装置 306 与显示器 305 成一体。用于验 证目的的用户信息可通过具有触摸屏功能的显示设备、 面部检测摄像机、 指纹读取器、 视网 膜扫描仪或任何用来验证用户存取存储系统 300 的权限的其他类型的装置所输入。
图 4a 和图 4b 所示的是工具存储系统 300 中的图像子系统的部分透视图。如图 4a 中所示， 存取控制装置 306 以读卡器的形式被配置在系统的侧面上。 存储系统 300 包括用于 容纳图像检测装置的图像隔室 330， 所述图像检测装置包括三个摄像机 310 和光引导装置， 例如反光镜 312， 其具有相对于竖直面向下以大约 45 度配置的反射面， 用于向摄像机 310 引 导从抽屉 330 反射的光线。被引导的光线之后到达摄像机 310， 使摄像机 310 形成抽屉 330的图像。反光镜 312 以下的阴影区 340 表示工具存储系统 300 的图像检测装置的视场。反 光镜 312 具有与每个存储抽屉相同或更大的宽度， 并且向下朝抽屉重定向摄像机。图 4e 是 系统 300 的典型的侧视图， 显示了摄像机 310， 反光镜 312 和抽屉 330 之间的相对位置。从 任意抽屉 330 反射至反光镜 312 的光线 L 被导向至摄像机 310。
图 4b 是和图 4a 一致的透视图， 除了图像隔室 330 的盖被移开以露出详细的结构。 每个摄像机 310 与视场 311 相关联。如图 4b 中所示， 摄像机 310 的组合视场形成了图像检 测装置的视场 340。视场 340 具有深度 x。例如， 视场 340 的深度可以是大约 2 英寸。
图 4c 是图 4a 中所示工具存储系统 300 的另一个透视图， 只是存储抽屉 336 正在 打开状态下工作以允许部分的存取存储抽屉 336 内的内容或存储位置。
图 4a-4c 中的摄像机 310 和反光镜 312 的配置使摄像机 310 可以采集自顶部抽屉 至底部抽屉的图像， 而不需要实质地改变其焦距。
在一个实施例中， 摄像机 310 采集每个存储抽屉打开或关闭时的多个分图像。由 摄像机 310 采集的每个图像可以与唯一的 ID 或表明图像的采集时间的时间标记相关联。 图像的获得被工具存储系统 300 中的数据处理器控制。在一个实施例中， 采集的图像是抽 屉的全宽度而深度仅仅约 2 英寸。采集的图像在深度和 / 或宽度上稍微地重叠。如图 4D 中所示， 由不同摄像机 310 在不同时间点拍摄的分图像 41-45 可被拼接在一起以形成部分 或全部抽屉及其内容和 / 或存储位置的一个图像。该拼接可以由数据处理器或使用现成的 或定制开发的软件程序的附接的或远程的计算机来完成。由于图像被采集为大约 2 英寸的 片段， 每个摄像机可以采集多个图像片段。 一个或多个可见标尺可以包括在每个抽屉之内。 处理器可用与视频监视器类似的快速成像方式监视图像包含该标尺的部分。 当该标尺到达 指定或预计位置， 数据处理系统控制图像检测装置以采集并且记录图像部分。该标尺可同 时参与照片拼接。另外， 诸如栅格一类的图案可被施加在抽屉表面。该图案可用于帮助拼 接或图像采集处理。
在另一个实施例中， 图像检测装置包括更大的反光镜和具有广角镜头的摄像机， 以产生更深的视场 x， 从而图像拼接的需要可被减少或完全地消除。
在一个实施例中， 一个或多个行扫描摄像机被用作图像检测装置。行扫描摄像机 以实质上一维的方式来采集图像。图像将具有取决于传感器的有效宽度， 而深度仅仅为一 个像素。行扫描摄像机采集具有工具抽屉的宽度而深度仅为一个像素的图像条纹。每当抽 屉 330 以预定的增量移动， 摄像机将采集另一个图像条纹。在这种情况下， 图像条纹必须被 拼接在一起以生成可用的完整抽屉图像。这与用于采集文件图像的许多复印机的流程相 同。文件跨越过行扫描摄像机并且多个图像条纹被拼接在一起以生成全部文件的图像。
除了反光镜之外， 应当理解的是其他装置， 例如棱镜， 不同种类的透镜组合， 包括 平面透镜、 凹透镜和 / 或凸透镜、 光纤， 或任何可将光线从一个点导向至另一个点的装置， 都可被用作光线引导装置， 以将光线从目标引导至远程摄像机。另一个选择可以是使用光 纤。通过利用光引导装置可能会给采集的图像带来失真。可以进行校准或图像处理以消除 该失真。例如， 摄像机 310 首先观测到由光引导装置反射的已知简单网格图形， 并且产生数 据处理器所使用的失真映射来调整采集图像从而补偿反光镜失真。
为了更好的进行图像采集和处理， 可能需要调整摄像机。摄像机可包括某些关于 图像失真或焦距的构造变化。 摄像机可按照类似于减少反光镜失真的方式被校准以减少失真。 事实上， 反光镜校准可以补偿摄像机和反光镜的失真， 并且可能是所使用的唯一的失真 校正。 此外， 可以使用专用设备对每个单独的摄像机进行校准以确定其透镜的实际焦距， 并 且可以使用软件对系统内摄像机之间的差异进行补偿。
在一个实施例中， 图像检测装置并未包括任何反光镜。 相反地， 一个或多个摄像机 被配置在反光镜 312 所配置的位置。在这种情况下， 摄像机直接指向存储抽屉 330 的下面。 在另一个实施例中， 每个存储抽屉 330 具有一个或多个用于采集存储抽屉图像的相关摄像 机。
库存状态的确定
在典型的系统 300 中， 抽屉 330 中的每个存储位置被设置为存储预定的目标， 例如 预定的工具。例如， 如图 2 中所示， 每个存储抽屉 330 包括具有多个用于存储预定工具的工 具剪切块 181 的泡沫层 180。每个工具剪切块具有大体上与存储在该剪切块内的工具的轮 廓相类似的形状。系统 300 根据一个或多个预定兴趣区域 (ROI) 的图像数据来确定每个目 标的存在或缺失。兴趣区域 (ROI) 是预定的区域， 其图像数据包括用于确定特定存储位置 处的目标存在或缺失的有用信息。ROI 可被系统设计员定义并且可以覆盖或重叠部分或整 个工具剪切块， 也可以完全不覆盖或重叠工具剪切块。 系统 300 通过分析预定的 ROI 的图像 数据来确定目标或工具的库存。使用 ROI 来确定库存状态的详细内容将在随后进行论述。 为了提高图像数据处理和传输效率， 系统 300 根据由一个或多个 ROI 的采集图像 所导出的图像特征和 ROI 的参考图像特征来确定抽屉 330 内工具的存在或缺失情况。图像 特征代表了特定的图像或 ROI， 包括每个图像或 ROI 的唯一特征。这些唯一特征包括一个 或多个颜色、 尺寸、 形状、 宽度、 高度、 深度、 侧影或轮廓、 比重、 重量、 直径、 反射性、 密度、 热 特性、 粘性、 尺寸、 质地、 表面光洁度等等。 根据一个实施例， 这些属性的表示， 是根据一个区 域的一个或多个采集图像导出的。随后将要描述导出特定图像或 ROI 的图像特征的详细内 容。
系统 300 有权存取特征参考数据， 其包括当例如工具的目标存在， 以及当目标缺 失时， 相同区域或 ROI 的参考图像特征。对于每个区域或 ROI， 参考图像特征可以通过在目 标存在和缺失时均获得区域或 ROI 的图像而形成。
根据区域或 ROI 的图像的图像特征与特征参考数据的对比， 系统 300 确定相应存 储位置的目标是存在还是缺失。 例如， 使用两组参考图像特征， 一个与被相应的工具占据的 剪切块相关， 另一个与未被相应的工具占据的同样的剪切块相关。 库存状态的确定， 是根据 覆盖剪切块的区域和直接围绕剪切块的区域的采集图像的图像特征与相同区域的特征参 考数据相对比而得出的。
适当的软件可被在系统 300 或在相连的电脑中的一个或多个数据处理器执行以 根据采集图像来执行库存的确定。系统 300 的永久存储装置存储用于识别抽屉中每个已知 存储位置和与其相应的预定目标之间的关系的存储信息。 存储装置同样存储与每个工具相 对应的预定 ROI， 和与该 ROI 或该工具有关的参考图像特征信息。 一个或多个数据处理器确 定抽屉中的哪些存储位置被与它们相应的预定工具所占据， 以及抽屉中的哪些存储位置没 有被与它们相应的预定工具所占据。一个或多个存在的和 / 或缺失的工具的识别根据所存 储的识别每个存储位置和与它们相应的预定目标之间的关系来确定。 系统同样可以确定是 工具不在合适位置还是在该存储位置存在错误的工具。
现在将描述图像识别和库存确定的详细内容。
根据本发明的典型的工具存储系统利用独特的方法进行图像识别， 能够极大地减 少所需数据的数量并且可科学地减少执行必要计算所需的计算能量和时间。
(1) 参考数据的创建
如前所述， 典型的系统 300 根据由工具和工具剪切块的采集图像和参考图像特征 所导出的特征来确定工具的库存状态。 本发明提示了一种形成参考图像特征文件的高效且 独特的方法。
为了真正有效并且高效率地处理由摄像机采集的图像， 系统 300 必须存取描述参 考数据的信息， 所述参考数据包括与每个工具有关的预定 ROI 的参考图像特征 ； 和包括工 具的标识、 工具的位置、 每个抽屉中剪切块的位置、 剪切块轮廓、 工具剪影的定义、 指状剪切 块的定义、 工具剪影之间的通道、 每个抽屉中的工具相对于泡沫的已知特征的位置的定义、 工具说明、 零件号码的信息以及对运行图像识别有用的任何信息。上述信息被统称为参考 数据。
依据本发明的典型的系统通过使用已有的被称为剪切块文件的数据文件以高度 自动化的方式产生参考数据。 剪切块文件是在生产工具存储系统中使用的具有工具轮廓的 剪切块的泡沫层期间产生的。这些剪切块文件通常为行业标准格式， 例如 .dxf 格式， 并且 包括每个抽屉的工具轮廓剪切块和抽屉中每个工具的相对位置的信息。 用于形成抽屉泡沫 层的剪切块文件同样提供附加的有用信息， 包括每个工具正被存储的抽屉、 工具的部件号、 国家序列号、 制造商部件号、 工具序列号、 工具说明书等等。 例如， “Snap-on Incorporated” 公司的被称为 “True Fit” 的软件程序， 包括工具 剪影以及与每个工具有关的数据库。当制造工具存储系统使用的具有工具剪切块 181 的泡 沫层 180 时， 泡沫布局技师根据标准工具清单来制作每个抽屉 330 的泡沫布局， 所述标准工 具清单以特定的顺序或习惯包括将被归入工具存储系统中的所有工具。 该清单可以由代销 商和 / 或顾客制作。 “True Fit” 程序， 当被电脑运行时， 根据标准工具清单以及数据库中每 个工具所预存的数据产生包括每个抽屉 330 的泡沫布局的剪切块文件。剪切块文件包括每 个剪切块的信息， 例如形状以及尺寸、 工具清单、 每个剪切块在各抽屉中的位置信息。在一 个实施例中， 该位置信息包括各剪切块相对于各抽屉的公共坐标系的坐标信息。 然后， 技术 人员根据该泡沫布局通过二维喷水切割器 (water jet cutter) 或三维机械工具来剪切泡 沫。
通过将用于泡沫显影的剪切块文件， 例如 .dxf 文件， 改编为用于图像识别的参考 数据， 工具存储系统现在能存取与每个抽屉中各工具的精确位置有关的数据， 以及剪切块 的形状及其他有用信息， 例如工具编号、 序列号等等。 这一步骤省去了手动地将每个工具输 入工具存储系统的库存清单的必要， 并且其同样提供了关于每个抽屉中各工具的位置以及 每个工具的相关数据的精确信息。 从这一步骤导出的附加信息可包括参考图像特征及其他 工具特征， 例如颜色、 尺寸、 形状、 区域、 重心、 区域转动惯量、 回转半径、 具体尺寸 ( 例如扳 手开度、 插座直径、 改锥长度等等 )。因此， 当加载参考数据时， 各工具的特征同样可被工具 存储系统所存取。
(2) 兴趣区域
为了提高数据处理的效率， 对于各采集的抽屉图像， 典型的系统 300， 并不是处理
整个图像， 而是集中在预定兴趣区域 (ROI) 进行图像识别， 所述兴趣区域是采集图像的子 集， 因此所包含的需要处理的数据要少得多。 根据一个实施例， 每个工具具有一个或多个预 定 ROI。如前所述， ROI 可以覆盖或重叠部分或整个工具剪切块 181， 也可以完全不覆盖或 重叠工具剪切块 181。
兴趣区域可以被描述成坐标系中的一个或多个剪切块位置、 剪切块轮廓、 工具剪 影的定义、 指状剪切块的定义、 工具剪影之间的通道、 每个抽屉中的工具相对于泡沫的已知 特征的位置的定义、 工具说明、 零件号码的信息以及对运行图像识别有用的任何信息。
(3) 训练过程
执行计算机化的训练过程以将剪切块文件改编成对典型的工具存储系统有用的 参考数据。典型的训练过程的步骤描述如下 ：
a. 从泡沫剪切块文件读取工具信息
这一步骤读取并且加载包含工具数据的剪切块文件， 包括工具位置、 剪影、 泡沫颜 色、 底色、 属性及其他数据。
这一步骤同样水平或垂直地测量图像以将用于形成剪切块文件的尺寸格式转换 为用于摄像机和图像建立系统的像素。每一个点通常约有 8 至 10 个像素。具有适当代码 的软件转换文件可用于完成这一转换。
b. 产生工具位置数据结构
使用泡沫布局通过与工具剪切块的形状和位置有关的处理区域来决定 ROI。整个 图像的一角定义为起点。然后确定图像内的边界框 (bounding box) 的位置。ROI 在边界框 之内并且通过边界框内部的行数和列数来确定。包含部分 ROI 的边界框内的任意像素， 与 起点一样， 和边界框的左上角一起被详述为序列对。下面提供典型的 ROI 的数据结构 ：
c. 确定由哪个摄像机处理工具
在使用 4 个或 6 个摄像机用于采集抽屉图像的典型的工具存储系统中， 每个摄像 机具有 40 度宽的视野 (FOV)， 并且在图像的中心线的两个边上各具有 20 度的视野。 自摄像 机至摄像机的图像可以重叠。根据抽屉的位置， 在顶部抽屉内的上述重叠可以与在底部抽 屉内的一样小， 或一样大， 在底部抽屉中每个摄像机都可以看得见整个抽屉。 工具和与之相 关的 ROI 通过确定每个工具 ROI 的重心的位置并且将相应的 ROI 分配至视野中心线最靠近 该 ROI 的摄像机而被分配给相应的摄像机。
如果 ROI 扩大为一个以上的摄像机的会聚， 那么 ROI 被分成片并且按上述方法分 配给各个摄像机。
d. 生成工具的膨胀区和缓冲区
在某些情况下， 与工具相关的采集图像可能不同于参考数据， 即使当工具处于其 相应的剪切块或存储位置中。 例如， 工具可能悬垂在工具剪切块的边缘， 或可能被紧紧地挤 压在泡沫中造成了压缩或变形的形状， 或工具剪切块可能没有处于预期的精确位置。这些 情况下， 如果没有适当地处理， 可能引起工具存储系统触发错误警告。
为了对这些问题进行处理， 典型的系统利用唯一的图像数据来对工具的库存状态 进行计算。如图 5 中所示， 膨胀区和缓冲区被分配在每个工具剪切块的周围。缓冲区是环 绕工具剪切块而生成的环形圈， 并且包括可调节的宽度， 例如数个像素。例如， 工具剪切块 的缓冲区可以是远离工具剪切块的边界而扩展的 5 个像素。上述宽度是任意的并且取决于 系统设计。膨胀区是环绕缓冲区的环形圈并且可被分配为可调节的一些像素。例如， 缓冲 区可以远离缓冲区的外边界而扩展 5 个像素。上述宽度是任意的并且取决于系统设计。
在一个实施例中， 与缓冲区相关的图像数据在估算图像时被忽略， 虽然与膨胀区 相关的图像数据被用于计算一些特征， 例如颜色、 强度、 色调以及饱和度等等。该数据随后 将被用于评估某些东西位于工具剪切块的边缘之上的情况， 其表示错误的工具已被放入存
储位置或剪切块中， 或者正确的工具已经被不恰当地放入存储位置或剪切块中并且不在位 置上， 或者某些东西覆盖了至少一部分缓冲区。 当发生这一情况时， 将会对用户以及管理人 发出警告。
4. 基于图像特征的图像识别
每个图像包括表示该图像唯一特征的属性。 这些属性包括颜色、 尺寸、 形状、 宽度、 高度、 深度、 侧影或轮廓、 比重、 重量、 直径、 反射性、 密度、 热特性、 粘性、 尺寸、 质地、 表面光 洁度等等。根据本发明的典型的系统利用独特的方法从采集图像选取代表每个 ROI 特征的 信息。所选取的信息唯一地描述了 ROI 的属性并且被认为是 ROI 的图像特征。
如前所述， 系统 300 中的永久存储装置存储与预定的 ROI 相关的数据， 所述预定的 ROI 的图像数据需要经过系统 300 处理。 预存的对照表可以识别每个工具， 其相应的剪切块 信息， 以及预选的图像数据对确定工具的库存状态有用的 ROI。与一个工具相关的库存状 态是根据与该工具相关的、 基于采集的图像和参考图像特征导出的各 ROI 的图像特征决定 的。 由于仅仅是图像特征， 而非原始图像数据被用于确定库存状态， 因此信号处理以及数据 传输的效率被显著地提高。
现在将要描述用于形成图像的图像特征的步骤。 将要描述一个使用图像色调和饱 和度的样品图像特征。 使用不同的图像属性的其他特征也可被同样设计用来确定库存系统 中的物品的存在、 不存在或者标识。
以下提供用于该步骤的典型算法 ： RGB( 红， 绿， 蓝 ) 到 IHS( 亮度， 色调， 饱和度 ) 的转换
相关的结构是 ：典型的系统处理与每个工具剪切块以及围绕其的膨胀区相应的 ROI 中的像素数 据。每个像素的 RGB 值被转化为 IHS( 亮度、 色调、 饱和度 ) 值。典型的系统确定采集图像 的图像属性的分布特征。例如， 生成柱状图以描述与不同的图像属性如亮度、 色调和 / 或饱 和值相应的像素数分配。
在一个实施例中， 对于那些亮度值低于预定的下阈值和高于预定的上阈值 ( 例如 分别为 .2 和 .8) 的图像像素， 它们的色调和饱和度因为不可靠而被忽略并且被清零。这些 像素在两个分开的接收器中被积累。
对于亮度值介于阈值之间的像素， 它们的亮度值被忽略， 因为其太容易受变化的 照明强度因素所影响。对于这些像素， 其色调和饱和值在二维 ( 色调 - 饱和度 ) 柱状图的 接收器中被积累。每个接收器在柱状图上表示一组色调和饱和度的预定值。
然后根据像素数分布对二维柱状图进行检验以找到具有最多像素的接收器。 那些 靠近具有最多像素接收器的接收器被包括入内， 直到接收器的像素计数低于顶点接收器的 像素计数的预定部分。例如， 预先确定的部分可被设置为 0.5。所选的接收器的平均亮度、 色调以及饱和度被计算并且进入 PP_COLOR 结构的字节中。
PP_COLOR 结构的百分比项是在接收器的该组内的 ROI 中的所有像素的百分比。 然 后， 该组中的接收器在进一步的程序中被忽略， 并且该步骤被重复以找到下一个这样的接 收器组。这一步骤被重复直到找到预定数量的接收器组。
在每一步骤中同样要检验在两个分开的低亮度和高亮度接收器中的像素的数目， 这些接收器可解释 PP_SIGNATURE 结构中的一个 PP_COLOR 结构。
用这样的方式， ROI 的图像特征结构 (PP_SIGNATURE) 被五个最稠密的像素色群的 说明数据填满。PP_SIGNATURE 结构中的对应围绕工具的膨胀区的 PP_COLOR 结构被用相同 的方式计算。特征使用五个颜色仅仅是一个例子， 特征可以使用任意数量的颜色。
向以下的基准图像执行类似的步骤 ：
工具剪切块 / 在 ROI 中没有工具 ；
工具剪切块 /ROI 中的工具 ； 以及
膨胀区。
获得一次参考图像特征， 作为准备程序的一部分。对于每个工具剪切块当正确的 工具被确知存在时， 对于每个工具剪切块当工具被确知不存在时， 对于膨胀区当正确的工 具被确知存在时， 以及对于膨胀区当工具被确知不存在时， 可以获得参考特征。 然后在正常 运行时， 系统从采集图像获得 ROI 的特征数据并且将其与确定不存在工具的数据、 确定存 在工具的数据相比较。参考图像特征可以仅仅涉及特殊的工具而不是工具的抽屉。参考图 像特征可以相对每个工具独立地产生并且被存储在数据库中。 其通过采集有或没有工具就 位的工具剪切块的图像而大体上完成。 工具和工具剪切块的图像被处理以选取所有现存工 具的规定状态的参考图像特征。 参考图像特征可以从数据库中选取并且被并入库存管理系 统之中以便不再需要实际的工具抽屉的参考图像。此外， 参考图像特征可以不通过采集任 何图像而产生。 泡沫、 工具剪切块以及相关的工具的巳知参数， 例如颜色和尺寸被人工地或 可编程控制地用来产生用于定义工具剪切块和工具的参考图像特征的图像属性。
根据采集图像中 ROI 的图像特征和参考图像特征确定与 ROI 有关的库存状态。
当工具不在预置百分比容差之内时， 如果工具剪切块 ROI 的图像特征与参考图像 特征匹配， 工具被确定为从 ROI 处遗失并且因此被发出或在使用中。另一方面， 当工具在预 置百分比容差之内时， 如果工具剪切块 ROI 的图像特征与参考图像特征匹配， 那么物品被 确定为在 ROI 中。用于确定工具存在或缺失的百分比容差是可调的。可以根据设计偏好以 及经验选择适当的值。
膨胀区 ROI 的图像特征的检验与膨胀区 ROI 相应的参考图像特征相对比， 可用于 确定除工具存在或遗失以外的状态。例如， 如果工具没有被正确地放入其相应的剪切块或 者错误的工具被放入工具剪切块中， 该工具的一部分可能在剪切块的外面并且在膨胀区 中。另外， 意外的物体， 例如工厂抹布或者额外工具可能被放在抽屉中， 并且会阻挡工具剪 切块的膨胀区的一部分。膨胀区 ROI 的特征将不会与其参考图像特征匹配， 并且系统将认 为在存储室中存在未知的状态。在这种情况下， 可能会产生警报以表明相应的存储位置应 该被人工地核对以改正上述异常。
如果 ROI 的图像特征在预置百分比容差以内不能与任一参考图像特征匹配， 那么 将会认定发生了错误或者异常， 将会通过设备的 PC 和 GUI( 图形用户界面 ) 系统向用户和 系统管理员发送警报。错误的警报可能是因为错误的工具、 错放的工具、 跨越多个 ROI 的未 知的物品等等。在一个实施例中， 工具剪切块 ROI 中的物品的特征可以与抽屉中的、 存储柜 中的、 或者世界上已知的所有工具的数据库相比。 通过这一比较， 存储在工具剪切块中的特 定工具可以被确定并且将结果发送至库存系统。从广义来说， 这些技术可用于识别抽屉中 所有的工具， 而不必知道哪个工具应该在抽屉中或者它们应该被在哪里。
在一个实施例中， 每个图像特征被视为矢量。与采集图像对应的 ROI 的图像特征 和工具被确认不存在时相同物品的参考图像特征之间的相似性被计算。例如， 该相似性可 以根据用已知方法计算的两个矢量之间的距离来确定。同样地， 与采集图像对应的 ROI 的 图像特征和工具被确认存在时相同物品的参考图像特征之间的相似性被计算。 如果与采集 图像对应的 ROI 的图像特征与工具被确认不存在时相同物品的参考图像特征之间的相似性水平比与采集图像对应的 ROI 的图像特征与工具被确认存在时相同物品的参考图像特 征之间的相似性水平要高， 那么可以确定工具不存在。反之， 可以确定工具存在。
在另一个实施例中， 采集图像对应的 ROI 的图像特征中的每一个最稠密的像素组 分别与当工具被确认不存在时同样物品的参考图像特征， 以及当工具被确认存在时同样物 品的参考图像特征的对应物相比。根据特征匹配以及百分比确定 GOF( 有效配合 ) 值。例 如， GOF 值可被定义为与特征中每个项对应的最小值 ( 采集 ROI 的百分比、 参考百分比 ) 的 累积。然后将累积的百分比与阈值相比。如果相对于工具存在时的参考特征的 GOF 值大于 阈值， 确定工具存在。如果相对于工具不存在时的参考特征的 GOF 值大于阈值， 确定工具不 存在。如果相对于工具存在时的参考特征的 GOF 值大于阈值并且工具不存在时的参考特征 的 GOF 值小于阈值时， 其被分类为一种特殊的状态， 并且警报信号将被触发或者发出。这种 特殊状态可能由悬垂工具、 畸形剪切块或者剪切块中放入的错误工具所引起。
有时候， 工具属性的重要部分可能与背景的属性匹配， 这样会使存在或缺失的检 测变得更加困难。在这些情况下， 物品可以被分为多个 ROI。ROI 属性与背景相匹配的区域 将被忽略， 并且只有那些 ROI 属性不同于背景属性的区域会被计算。
与每个库存项目对应的图像参考特征的对照表可以在制造过程期间产生并且可 被预加载在工具存储系统之上。在系统设置时， 参考图像特征的完整数据库可与 ROI、 部件 号、 说明书及工具数据库中的其他数据一起被存入每个系统中。
根据本发明典型的工具存储系统的另一个特征是自动化的物品添加 / 去除。它是 这样的一个过程， 即系统被设置为识别新的工具并且将它们的信息添加至数据库， 或者从 数据库除去那些不再需要或不再有用的工具。
用于生成泡沫剪切块和参考数据的相同类型的数据文件被用于修改已有的抽屉 布局， 以添加或除去工具。然后该文件被加载至系统的存储器并且泡沫被改变。系统自动 地识别数据库中 ( 或从中除去 ) 存在一个 ( 或多个 ) 新的工具以及指定的存储位置或剪切 块目前已经就位 ( 或者被除去 )。
已经确知， 与图像对应的 ROI 和与其关联的泡沫中的工具剪切块的精确位置可能 与在工具训练和读取文件中计算的位置稍有不同。 为了补偿在实际位置和计算位置之间这 种可能的差异， 在泡沫层中提供有孔以作为位置核对。这些孔的位置与抽屉痕迹和位置条 相关， 并且提供 ROI 和抽屉泡沫中的工具剪切块的实际位置的核对。
依据本发明的另一个实施例利用特别设计的标识符以确定目标的库存状态。根 据存储位置是否正被物体占据， 相关的标识符在图像检测装置所采集的图像中以两种不同 方式中的一种出现。例如， 当相关的存储位置被工具占据时， 标识符可以呈现第一颜色， 而 当相关的存储位置未被占据时呈现第二颜色。 标识符可以是文字、 一维或二维的条形码、 图 案、 点、 密码、 符号、 图形、 数字、 LED、 光线、 旗标等等， 或其任意组合。 标识符在图像检测装置 所采集的图像中可能呈现的不同方式包括具有不同图案、 亮度、 形式、 形状、 颜色等等。 根据 每个标识符在采集图像中是如何呈现的， 数据处理器确定目标的库存状态。
图 6a 所示的是标识符设计的实施例。如图 6a 所示， 存储位置 51 指定用于存储工 具 510， 而存储位置 52 正被其指定的工具 520 所占据。存储位置 53 没有被其指定的工具占 据。每个存储位置 51、 52、 53 都具有相关的标识符。根据每个存储位置 51-53 是否正被相 应的工具占据， 每个标识符在由摄像机 310 所采集的图像中以两种不同的方式中的一个呈现。例如， 当相应的工具被存储在相应的存储位置时， 每个标识符可以不被摄像机 310 所拍 摄， 而当目标没有被存储在相应的存储位置时， 每个标识符变成可被摄像机 310 检测。类似 地， 不同的实施例的标识符， 在相应的工具被存储在相应的存储位置时， 可以不被图像检测 装置所检测， 而当目标没有被存储在相应的存储位置时， 标识符变成可被图像检测装置所 检测。
例如， 存储位置 51-53 的底部包括由定向反光材料制成的标识符。由于存储位置 51 和 53 没有被各自相应的指定工具所占据， 它们相关的标识符 511 和 513 可被图像检测 装置所检测。另一方面， 存储位置 52 目前正被其指定的工具占据， 它的标识符在图像检测 装置的视野中被阻挡。当特定的工具被存储在该存储位置时， 标识符在图像检测装置的视 野中被阻挡， 从而不能被图像检测装置所检测。 相反， 如果该存储位置没有被特定的工具占 据， 那么标识符可以被图像检测装置检测， 并且作为抽屉图像上的高亮度区域露出。相应 地， 高亮度区域表示工具遗失。系统 300 检测遗失工具的位置并且将空位置与存储的关系 相关联以确定每个存储位置和各自相应的工具。系统 300 确定哪些工具在抽屉中没有在各 自指定的位置上。应当理解的是标识符可以许多不同的方式实施。例如， 标识符可被设计 成当存储位置被占据时能产生高亮度图像， 并且当存储位置被占据时能产生较小亮度的图 像。
在一个实施例中， 每个标识符被实施为具有接触传感器和 LED。 如图 6b 中所示， 存 储位置 61 与接触传感器 62 和 LED 63 相连。当接触传感器 61 检测到存储位置 61 内有工 具时， 由接触传感器 61 产生信号并且信号控制关掉 LED63 的电源。反之， 如果接触传感器 62 检测到存储位置 61 中不存在工具时， 控制传感器 62 产生控制信号以控制开启 LED 63， LED 63 在图像检测装置所采集的图像中产生高亮度区域。 图像中的每个高亮度区域都指示 了不具有相关工具的存储位置。系统 300 通过测定哪些存储位置没有被工具占据以及用于 识别该位置相应工具的预存信息来确定除去的或遗失的工具。在另一个实施例中， 标识符 与存储在每个相应的存储位置中的预定工具是唯一对应的。 数据处理器被设置为通过计算 在图像检测装置所采集的存储位置的图像中是否存在至少一个可视标识符， 以及每个预定 目标和与每个预定目标唯一对应的相应标识符之间的预存关系来确定库存状态。
在另一个实施例中， 当存储位置被占据时， 与该存储位置相关联的标识符能产生 高亮度图像， 并且当该存储位置未被占据时， 产生低亮度的图像。系统 300 根据所检测的标 识符和识别每个存储位置与相应的预定目标之间的关系的预存信息来确定哪些工具存在。 在另一个实施例中， 标识符与存储在每个相应存储位置中的预定目标是唯一对应的。系统 300 通过计算存在于由图像检测装置采集的存储位置的图像中的标识符， 以及每个预定目 标和与每个预定目标唯一对应的相应标识符之间的预存关系来确定现有目标的库存状态。
在另一个实施例中， 存储在系统 300 中的每个目标包括与每个目标唯一对应的附 加标识符。数据处理器有权存取用于识别存储在系统中的每个工具的预存信息， 以及用于 识别每个目标和与每个预定目标唯一对应的相应标识符之间关系的已知信息。 数据处理器 通过计算存在于由图像检测装置采集的存储位置图像中的标识符， 以及每个预定目标和与 每个预定目标唯一对应的相应标识符之间的关系来确定目标的库存状态。例如， 系统 300 存储该系统所存储的工具列表以及它们相应的唯一标识符。在摄像机 310 采集存储抽屉的 图像之后， 数据处理器确定哪些标识符在图像中。通过将出现在图像中的标识符与工具及其相应的唯一标识符的列表相比较， 数据处理器确定哪些工具在系统中以及哪些没有在系 统中。
如前所述， 与存储位置有关的标识符可用来确定哪些位置存在缺失的目标。根据 一个实施例， 系统 300 无须知道每个存储位置与相应的目标之间的关系。相反地， 标识符与 存储在存储位置中相应的目标是唯一对应的。系统 300 的数据处理器有权存取用来识别每 个标识符与相应目标之间关系的预存信息， 以及用来识别每个对象的信息。 换句话说， 系统 300 有权存取存储在系统 300 中的每个目标的库存列表及其相应的唯一标识符。 当系统 300 检测到空的工具存储位置时， 从图像中提取相应的标识符并且使用系统软件进行解码。由 于每个标识符与相应的目标是唯一对应的， 系统 300 能够通过核对每个标识符与相应的目 标之间的关系和目标的库存列表来确定现在缺少的目标。 与存储在存储位置中的目标唯一 对应的每个标识符可被配置为紧挨着存储位置或在存储位置之内。在一个实施例中， 标识 符被配置为紧挨着存储位置并且无论该位置是否被目标所占据， 标识符对于图像检测装置 总是可检测的。 在另一个实施例中， 当标识符被配置在相应的位置中时， 标识符在该位置被 目标占据时对于图像检测装置是不可检测的， 而当该位置没有被目标占据时， 标识符对于 图像检测装置是可检测的。
本发明的一个实施例利用基准图像和与目标唯一对应的标识符的组合来确定库 存状态。例如， 基准图像可以包括所有的存储位置被它们各自相应的目标所占据的存储抽 屉的信息， 其中每个存储位置与存储在存储位置中的目标所唯一对应的标识符相关联。通 过比较存储位置的图像和基准图像来确定库存状态， 以确定哪些位置被目标占据和 / 或哪 些位置缺失目标。 缺失目标的确认通过识别与缺失目标的每个存储位置有关的标识符来确 定。
本发明的另一个实施例利用标识符的特定组合来确定库存状态。例如， 每个存储 位置可具有配置在该位置的第一类型标识符， 以及紧挨着该存储位置配置的与存储在存储 位置中的目标唯一对应的第二类型标识符。当该位置没有被目标占据时， 第一类型标识符 对于图像检测装置是可检测的， 而当该位置被目标占据时， 第一类型标识符不能被图像检 测装置检测。第一类型标识符可以由定向反光材料制成。如果该存储位置没有被与该存储 位置对应的目标占据， 那么第一类型标识符可以被图像检测装置检测， 并且作为高亮度区 域露出。相应地， 每个高亮度区域表示一个缺失目标， 其使系统 300 能够确定哪些位置具有 缺失目标。根据存在缺失目标的那些位置有关的第二类型标识符， 系统 300 可以确定系统 300 中正缺失哪些目标。从而， 可以确定系统 300 的库存状态。
根据另一个实施例， 系统 300 使用图像识别方法以识别从系统 300 缺失的目标。 系 统 300 有权存取库存列表， 所述列表指示了哪些工具被存储在各个抽屉或系统 300 中。然 而， 系统 300 无须知道工具被存储在哪里。工具被放入泡沫剪切块中每个工具特定的位置。 利用一些特征， 例如尺寸、 形状、 颜色及其他参数， 图像识别软件可以识别抽屉中的每个工 具。遗失工具仅仅是在库存列表上的未被识别正位于抽屉中的工具。
系统 300 记录与每次存取相关的存取信息。该存取信息包括时间、 与存取相关的 用户信息、 持续时间、 用户图像、 存储位置的图像、 存储单元或存储系统的内容、 存储系统中 的目标等等， 或其任意组合。在一个实施例中， 系统 300 包括用户摄像机， 其采集并且存储 每当存取被授权时对存储系统 300 进行存取的人的图像。对于用户的每次存取， 系统 300确定库存状态并且产生一个报告， 包括将确定的库存状态与存取信息相关联。
定时图像采集
本发明的实施例利用独特地定时机器图像以采集系统 300 的图像， 并且根据该采 集图像确定系统 300 的库存状态。在一个实施例中， 系统 300 根据抽屉的位置和 / 或运动 启动或定时存储抽屉的图像采集， 以产生高效的并且有效的图像。例如， 系统 300 的数据处 理器利用抽屉位置来确定何时拍摄如图 4a-4e 中所述的重叠分图像， 以保证正被用户所存 取的抽屉被完整地覆盖。在另一个实施例中， 抽屉位置信息对于拼接软件在构建完整抽屉 图像是有用的。抽屉位置信息可用来帮助定位抽屉中剪切块的位置。
在一个实施例中， 系统 300 的数据处理器控制图像检测装置根据抽屉预定的运动 方式来形成抽屉的图像。例如， 对于每次存取， 系统 300 仅拍摄抽屉在以指定的方式或预定 方向上移动时的抽屉图像。根据一个实施例， 当抽屉向允许减少对其内容的存取的方向上 移动时， 或在抽屉在该允许减少对其内容存取的方向上停止移动之后， 图像检测装置进行 图像拍摄。 例如， 当用户正在关闭抽屉时， 抽屉在关闭方向上停止移动之后或当抽屉被完全 地关闭之后， 摄像机可被控制为拍摄抽屉的图像。 在一个实施例中， 当抽屉在允许增加对其 内容的存取的方向上移动时， 例如当抽屉从关闭位置移动至开启位置时， 不进行图像的拍 摄。
每个存储抽屉的位置、 运动以及移动方向可以通过使用与时间相关的测量位置的 传感器或运动传感器来确定。例如， 相对于两个时间点的位置信息可用来导出指示移动方 向的矢量。
用于检测存储抽屉的位置、 运动或移动方向的传感器例子包括传感器或编码器， 其与抽屉相连以检测该抽屉相对于系统 300 的边框的位置 ； 无接触测距传感器， 用于确定 抽屉相对于系统 300 的边框上某些位置的运动， 例如系统 300 的后面等等。 非接触式传感器 可以包括光学或超声波传感器。每个抽屉中可包括可见标尺或摄像机 310 可见的指示物， 以使摄像机 210 可以读取该标尺以确定抽屉位置。
库存状态的变化， 例如发生在当前的存取的工具的移动， 可以通过比较当前存取 和当前存取之前的存取的库存状态确定。如果遗失了一个或多个目标， 系统 300 可以向用 户发出警报信号， 例如听觉的或视觉的， 向与系统 300 相连的远程服务器发出通知等等。
在另一个实施例中， 图像检测装置被设置为当存储抽屉 330 在允许增加对其内容 进行存取的方向上移动， 以及当存储抽屉 330 随后在允许减少对其内容进行存取的方向上 移动时， 形成存储位置的图像。例如， 当用户打开抽屉 330 以取回工具时， 抽屉 330 的移动 方向在抽屉移动时触发摄像机 310 对抽屉内容的图像进行采集。采集图像可被指定为 “存 取之前” 图像， 表示用户存取每个存储抽屉的内容之前的状态。 根据该采集图像确定库存状 态。该库存状态被认为是 “存取之前” 的库存状态。当抽屉 330 停止移动时， 摄像机 310 停 止采集图像。当用户关闭抽屉 330 时， 抽屉 330 的移动方向触发摄像机 310 对抽屉 330 的 图像再次采集直到其停止或到达关闭位置。抽屉的库存状态根据用户关闭抽屉 330 所采集 的图像来确定。所确定的库存状态指定为 “存取之后” 的库存状态。存取之前替换库存状态 和存取之后的库存状态之间的差异表明了工具的移动或替换。本发明的其他实施例， 在存 储抽屉被打开之前或在存储抽屉被完全地打开之后或当其内容可被用户存取时， 控制摄影 机拍摄 “存取之前” 的图像。根据另一个实施例， 当检测到用户对抽屉的存取已经结束时，图像检测装置将拍摄每个抽屉 330 的图像。按照本发明中所使用的， 结束存取被定义为用 户不再对任意存储位置进行存取， 例如当抽屉 330 被关闭或锁上， 当门 250 被关闭或锁上等 等， 或是用户或系统发出指示不再需要对存储系统进行存取， 例如当用户中止时， 当不活动 之后的预定时段过去时， 当锁定装置被用户或系统 300 锁定时等等。对于每次存取， 位置检 测器或接触传感器用来确定抽屉 330 是否关闭。在抽屉被关闭之后， 图像检测装置采集抽 屉 330 的图像。然后， 数据处理系统根据采集图像确定库存状态。库存状态之间的差异可 以通过比较所确定的当前存取和以前存取的库存状态来确定。
根据另一个实施例， 对于每次存取， 图像检测系统 300 将采集至少两个抽屉 300 的 图像 ： 在用户对抽屉 300 中的存储位置存取之前采集的至少一个图像 ( 初始图像 ) 以及存 取结束之后采集的至少一个图像， 如上所述。可以在用户对抽屉中的内容或存储位置进行 存取之前的任何时候拍摄初始图像。在一个实施例中， 在用户请求存取系统 300 之后采集 初始图像， 例如通过滑动通行卡、 输入上班打卡密码、 向锁中插入钥匙、 提供验证信息等等。 在另一个实施例中， 在检测到抽屉从关闭位置运动或开启系统 300 的锁定装置之前或对应 时， 采集初始图像。
系统 300 的数据处理系统根据初始图像确定库存状态， 并且将确定的库存状态指 定为 “存取之前” 的库存状态 ； 根据存取结束之后采集的图像确定库存状态， 并且将确定的 库存状态指定为 “存取之后” 的库存状态。可以通过比较 “存取之前” 和 “存取之后” 的库存 状态， 或者比较初始图像和存取结束之后所采集的图像来确定系统 300 中目标的库存状态 的变化。 如上所述的构思和设计可应用到其他类型存储系统中， 如图 1B 中所示的类型， 其 中单扇门控制了多个架子或抽屉的存取。在一个实施例中， 图像检测装置将在检测到存取 结束之后， 例如关闭门 250、 锁上门 250、 签退等等， 对存储位置的图像进行采集。应当理解 的是可以使用各种类型的传感器， 例如接触传感器、 红外传感器， 来确定门何时被关闭。与 先前讨论的类似， 图像检测装置采集存储位置的图像， 并且根据该采集图像确定 “存取之 后” 的库存状态。与存取有关的库存状态的变化可以通过比较当前存取和上次存取的库存 状态来确定。根据另一个实施例， 图像检测装置将在用户存取存储系统之前拍摄存储位置 的 “存取之前” 图像。例如， 摄像机将在用户请求存取系统之后， 在检测到打开门 250 之后， 在收到用户的验证信息之后等等采集存储位置的图像。 存储系统根据 “存取之前” 的图像确 定 “存取之前” 的库存状态。根据 “存取之前” 和 “存取之后” 库存状态之间的差异， 或 “存 取之前” 和 “存取之后” 的图像之间的差异， 可以确定库存状态的变化。
图像校准
如上所述， 多个摄像机可用来采集抽屉的分图像。然后将这些图像拼接在一起以 形成用于进一步处理的抽屉的完整图像。 相应地， 为了拼接图像， 重要的是知道分图像之间 的相对位置关系从而可以将分图像适当地拼接或结合。此外， 可以根据整个 ROI 在分图像 范围之内时的分图像来完成对 ROI 图像的处理。在这种情况下， 对于工具存储系统重要的 是要知道从分图像定位 ROI 的正确位置， 特别是分图像在图像采集期间可能被扭曲、 弯曲 或歪斜。
本发明的一个实施例在每个抽屉中提供已知的、 非重复的参考图案。 例如， 如图 6a 中所示， 抽屉在抽屉两边具有两个可见的、 非重复的标尺 A、 B、 C...S。抽屉中标尺的相对位
置信息是已知的并且存储在系统中。 在任意给定时间内， 当图像被采集， 两个标尺的图案总 是出现在采集图像上。 仅使用一个摄像机或多个摄像机来采集图像。 当抽屉的宽度变宽时， 可以使用更小焦距的摄像机。然而， 这种焦距更短的摄像机将降低图像的分辩率。可替换 的， 一个以上单独的或成角度的摄像机可用于获得要求的抽屉宽度和分辨率。可以使用一 个或多个摄像机以拍摄到标尺图案， 或使用相同的摄像机拍摄全部或部分的抽屉内容。
如图 6b 所示， 如果获得图 6a 所示的抽屉的分图像， 那么图 6b 所示基准位置分图 像之内任意的 ROI( 兴趣区域 ) 可以通过插入已知的泡沫尺寸之内的已知的工具剪切块参 考位置信息和标尺信息的图像来确定。 从图 6b 中的可见标尺， 容易识别出分图像处于图 6a 中所示完整抽屉图像的位置。通过获悉分图像相对于整个抽屉的位置， 分图像可以与其他 分图像一起被适当地拼接。
同样地， 图 6b 所示分图像中 a 比 b 比 c 的比值和图 6a 所示的存储剪切块文件信息 的 x 比 y 比 z 的比值相同。根据该已知的比值， 可以确定与图 6b 中分图像对应的任意 ROI 的位置。
此外， 利用两个或更多在任意给定时间内总是可被摄像机采集的参考图案或标 尺， 即使图像的透视图改变， 使用采集图像中参考图案或标尺的相对位置， 失真图像可被重 定比例， 旋转或调节以将失真图像转换为适合已知的关系。例如， 如果图 6b 中两个标尺之 间的距离被缩小， 则通过计算采集图像中标尺之间的距离与存储在系统中的已知距离之间 的比值， 系统能够确定放大系数。然后将这一放大系数应用于采集图像以将该图像转换回 复正常。
此外， 通过获知每个分图像相对于整个抽屉的位置， 可以确定抽屉的移动速度。 例 如， 如图 6c 所示， 采集到两个分图像 1 和 2。 如上所述， 根据标尺的图像， 通过参照存储在系 统中的参考数据， 系统可以确定该分图像相对于整个抽屉的位置。由于分图像 1 和 2 的位 置信息是已知的， 可以确定分图像 1 和 2 之间的位移 ( 距离 A)。行程时间 t 是两个采集图 像之间的时间， 其可以从摄像机获得。因此， 抽屉的移动速度 v ＝ A/t。
系统可以使用抽屉的移动速度来为抽屉图像计时。根据速度测量， 系统可以预知 应该在何时拍摄下一个图像。例如， 如果抽屉的速度是 5″ /sec 并且系统的摄像机的图像 覆盖范围是 2″， 系统可以确定必须在 2/5 秒内拍摄下一个图像以保证图像之间的没有重 叠或间隔。1/5 秒可以在连续图像之间形成 1″的重叠。通过计算抽屉速度的导数可以确 定抽屉移动的加速度， 并且根据抽屉的加速度进一步预知何时拍摄下一个图像。根据速度 和加速度信息， 系统可以节省电池供电的能量， 和 / 或通过适当地计算抽屉图像的时间而 不采集多余的图像来提高系统的性能。
如果抽屉变形， 和 / 或离开了摄像机， 透视图像将被旋转和失真 ( 歪斜 )， 如图 6d 所示。通过比较标尺的采集图像和抽屉中标尺已知位置关系可以检测到这种失真。通过调 整或旋转采集图像以使采集的标尺图像能够根据标尺的存储参考数据 ( 见图 6e) 正确地覆 盖在标尺的正确位置之上， 可以获得失真图像的校正。 应当理解的是， 任何具有足够二维性 能的参考图案， 例如具有足够宽的参考图案， 都可以类似方式被用来校正图像的歪斜或失 真。每当歪斜或失真发生时， 参考图案的二维特征将与存储在系统中的参考数据的特征不 同。通过调整或旋转采集图像以使采集图案图像能够与存储参考数据一致， 来完成对失真 图像的校正。根据一个实施例， 典型的系统提供填满摄像机的兴趣区域的图案以校正失真。要 将图案的图像改变成预期的图案图像的失真将被应用于将来整个图像。例如， 如图 7a 所 示， 已知的图案， 例如相隔 1/2″处的点的栅格， 被成像为实质上与摄像机芯片平行。 现在光 学系统 ( 透镜、 反光镜等 ) 中的所有失真可以在栅格的采集成像中获得。通过使采集成像 失真以使网格图案的成像进入已知的、 预期的网格图案中， 系统的所有失真均被校正。
现在将要描述使用已知参考图案来检测和补偿图像失真的详细步骤。
1. 确定参考图案的重心
摄像机获得平面的数字图像， 所述平面包含多个在平面已知位置上的可识别图像 图案。 在本实施例中， 摄像机的光轴被假定为垂直于该平面， 并且数字图像的每个像素具有 红、 绿、 蓝值， 每个都介于 0 到 255 之间。这三个值被称为像素的 “色” 值或 “RGB” 值。在本 实施例中， 已知的图案是单色的圆， 并且周围背景的颜色是单色， 参考图案的颜色不同于周 围背景。
在本实施例中， 首先计算数字图像中每个像素的平滑值 (smoothed value)， 然后 计算数字图像中每个平滑像素的 “色彩梯度” (color gradient)。
使用 3x3 平滑核心计算图像列和列 (x， y) 中像素的平滑 RGB 值 ：
1 2 1
2 4 2
1 2 1
如下 ：
smoothedPixel(x ，y) ＝ (1*rawPixel(x-1 ，y-1))+(2*rawPixel(x ， y - 1 ) ) + ( 1 * r a w P i x e l ( x + 1 ，y - 1 ) ) + ( 2 * r a w P i x e l ( x - 1 ，y ) ) + ( 4 * r a w P i x e l ( x ， y ) ) + ( 2 * r a w P i x e l ( x + 1 ，y ) ) + ( 1 * r a w P i x e l ( x - 1 ，y + 1 ) ) + ( 2 * r a w P i x e l ( x ， y+1))+(1*rawPixel(x+1， y+1))
其中 “smoothedPixel” 和 “rawPixel” 是相应的 R、 G 或 B 值。
使用 3x3 Sobel 过滤核心计算数字图像中每个平滑像素的色彩梯度 ：
X 核心 ：
-1 0 1
-2 0 2
-1 0 1
Y 核心 ：
-1 -2 -1
0 0 0
-1 -2 -1
如下， 其中 s 是″ smoothedPixel″ ：
gx ＝ (-1*s(x-1 ， y-1))+0+(1*s(x+1 ， y-1))+(-2*s(x-1 ， y))+0+(2*s(x+1 ， y))+(-1*s(x-1， y+1))+0+(1*s(x+1， y+1))
gy ＝ (-1*s(x-1， y-1))+(-2*s(x， y-1))+(-1*s+1， y-1))+0+0+0+(1*s(x-1， y+1))+(2*s(x， y+1))+(1*s(x+1， y+1))
gx 和 gy 用于计算 R、 G、 B， 以及像素位置 x、 y 处色彩梯度数辐值的平方， 然后 ：gradSq(x， y) ＝ Sum of R， G and B[(gx*gx)+(gy*gy)]
如果平滑像素及其相邻的颜色是接近的， 色彩梯度将会很小。由于图案颜色不同 于周围背景颜色， 图案边界以及背景处像素的色彩梯度将会较大， 并且边界像素因此可被 识别为具有大于合适的定义阈值的色彩梯度的那些像素。在本实施例中， 被这种像素边界 围绕的像素区域被识别作为潜在的已知图案之一， 所述像素边界中边界区域的参数， 例如 大小与形状， 与预期的图案参数匹配。该区域的重心通过用边界区域中的像素的 x 或 y 值 的总和除以边界区域中像素的数目计算。如果来自理想的 “针孔摄影机” 系统的成像系统 的失真不是特别大， 图案中心位置的图案将会和平面上已知图案的一样， 并且因此测量的 图案可被分别地被视为等同于各个已知图案。
2. 确定并且校正失真
设 KXi 和 KYi 为图案 i 的已知位置， 并且设 MXi 和 MYi 为匹配图案 i 的区域的测 量中心。
设：
mxi ＝ M*((cos(θ)*KXi)-(sin(θ)*KYi))+DX
myi ＝ M*((cos(θ)*KYi)+(sin(θ)*KXi))+DY
M 是放大倍数， θ 是旋转角， DX 和 DY 是位移补偿。M 是平面中图案位置的已知间 隔与摄像机图像中相应的图案位置的测量间隔的比值， 而 θ、 DX 和 DY 通过 (mxi-MXi) 的平 方加上 (myi-MYi) 的平方的最小二乘法 (least-squarels minimization)， 再对所有匹配 图案求和计算， 由于该总和是变量 θ、 DX 和 DY 的函数， 故给定已知值的集合 {KXi， KXi}， 集 合 {mxi， myi} 根据上述值的集合计算， 和相应的测定值的集合 {Mxi， MYi}。mxi 近似等于 MXi， myi 近似等于 Myi。
然后将失真的值投影定义在图案 i 的像素位置处 ：
distortionXi ＝ MXi-mxi
distortionYi ＝ MYi-myi
通过双线性插值法， 使用四个靠近像素位置的图案中心位置 {mxi， myi} 处的失真 (distortionXi， distortionYi) 计算在 “理想的” 或无失真图像的任意像素位置处的失真。 用这样的方式， 系统计算并且将每个无失真图像像素位置处的失真校正值 (distortionX， distortionY) 列表。一旦列表失真校正值被确定用于特定的摄像机， 它们可被应用于将来 由该摄像机采集的任意图像， 以产生无失真图像。该无失真图像中的每个像素的色值的计 算是通过拍摄无失真图像像素的 x， y 位置， 针对该无失真图像 x， y 在表格中查寻 x， y位 置处像素畸变值 (distortionX， distortionY)， 然后根据摄像机所采集的 ( 失真 ) 图像中 (x+distortionX， y+distortionY) 处的像素得到色值。 这些校正被应用到随后的所有图像。 没有位于栅格点的待校正的图像点， 可以通过离其最近的栅格点的平均失真进行校正。
根据另一个实施例， 本发明典型的工具存储系统利用相互之间具有预定位置关 系已知图案、 或延伸跨越至少两个摄像机的已知图案来测量摄像机之间的相对摄像位置 (RCP)， 并且利用该 RCP 将至少两个摄像机的图像拼接在一起。
用于确定两个摄像机之间的 RCP 的步骤没有进行描述。两个摄像机， 其相互之间 的物理和机械位置是固定， 每一个获得平面的部分数字图像， 所述数字图像包含多个平面 上的已知位置处的可识别图像图案。 使用上面所描述的技术对图像进行失真的校正以确定并且校正失真。这些已知图案的中心通过在确定图案中心的部分所描述的技术来确定。平 面之上对两个摄像机的视野可见的点， 例如特殊图案的中心， 将在第一摄像机的校正 ( 无 失真的 ) 图像中投射至位置 (x1， y1)， 并且在第二摄像机的校正 ( 无失真的 ) 图像中投射 至位置 (x2， y2)。假定两个摄像机的光轴是平行的， 而且它们的放大率是相同的。
然后通过下面的转化将 (x1， y1) 和 (x2， y2) 关联 ：
x2′＝ (cos(θ)*x1)-(sin(θ)*y1)+dx
y2′＝ (cos(θ)*y1)+(sin(θ)*x1)+dy
其 中 θ 是 旋 转 角， dx 和 dy 是 位 移 补 偿， 它 们 是 通 过 (x2i ′ -x2i) 的 平 方 加 (y2i′ -y2i) 的平方的总和的最小二乘法计算得来的， 对两个摄像机的视野可见的所有图 案 i 求和， 由于该和是变量 θ、 dx 和 dy 的函数， 故给定值的集合 {x1i， y1i} 以及相应的值 的集合 {x2i， y2i}， 其中， 集合 {x2i′， y2i′ } 从集合 {x1i， y1i} 中计算得到， 则 x2i′近 似等于 x2i， 并且 y2i 近似等于 y2i。参数 θ、 dx 和 dy 定义了与一对摄像机有关的 RCP 的 转化。
逆变换是 ：
x1 ＝ (cos(θI)*x2)-(sin(θI)*y2)+dx1
y1 ＝ (cos(θI)*y2)+(sin(θ1)*x2)+dy1
其中 ：
θI ＝ -θ
dxI ＝ -((cos(θI)*dx)-(sin(θI)*dy))
dyI ＝ -((cos(θI)*dy)+(sin(θI)*dx))
因此， 对于平面之上对两个摄像机的视野可见的任一点， 其在第一摄像机的校正 ( 无失真的 ) 图像中投射至位置 (x1， y1)， 并且在第二摄像机的校正 ( 无失真的 ) 图像中投 射至位置 (x2， y2)， (x1， y1) 和 (x2， y2) 通过该转化相关联。
同时， 在将平面上的 尺寸与摄像机图像中的像素相关联的比例系数之内， 平面上的任一点 (xp， yp) 可通过同样 的数学表达式转化为与 (x1， y1) 或者 (x2， y2)。
同样地， 给定同样的数学表达式将第一平面中的点 (x1， y1) 转化为第二平面中 的点 (x2， y2)， 利用参数 {Θ12， dx12， dy12}， 并且用同样的数学表达式将第二平面中的点 (x2， y2) 转化为第三平面中的点 (x3， y3)， 利用参数 {Θ23， dx23， dy23}， 同样的数学表达式 将第一平面中的点 (x1， y1) 转化为第三平面中的点 (x3， y3)， 利用参数 {θ13， dx13， dy13}， 通过下式给出 ：
Θ13 ＝ Θ12+Θ23
dx13 ＝ (COS(Θ23)*dx12)-(sin(θ23)*dy12)+dx23
dy13 ＝ (COS(Θ23)*dy12)+(sin(θ23)*dx12)+dy23
如图 7b 所示， 提供一个目标或一系列目标跨越所有的摄像机的视野。目标或一系 列目标的一部分可以被每个摄像机拍摄。知道目标彼此相互之间的位置， 可以测量摄像机 彼此相互之间的位置 ( 图 7c)。利用相关摄像机的位置以在 X 和 Y 上产生补偿， 并且每个摄 像机轮流将单个图像拼接在一起 ( 见图 7d)。
成像设置控制
如果图像子系统的图像检测装置需要照明以获得合格的图像质量， 可以提供照明装置。例如， 可以使用 LED 来照亮将被图像检测装置成像的区域。应当理解的是， 可以使用 许多类型的照明光源。例如， LED 可被配置成围绕透镜或图像检测装置的图像传感器。LED 发射的光线沿着与摄像机视野相同的路径传播。 在另一个实施例中， 光引导装置， 例如反光 镜， 可用来将照明光源发射的光导向目标区域， 例如抽屉， 以进行成像。照明的时间和亮度 被与控制摄像机及其曝光相同的处理器所控制。在摄像机某些可能的配置中， 可能需要背 景去除 (Background subtraction) 以增强图像。背景去除是公知的图像处理技术， 用于从 图像去除不需要的静态元素。首先， 不使用照明来采集图像。然后， 使用照明来采集图像。 通过从使用照明的图像上去除不使用照明的图像来形成最终的图像。 从而将没有被照明显 著增强的图像元素从最终图像上除去。
为了将距离不断变化的抽屉成像在摄像机上， 在采集图像时和 / 或在图像采集之 后处理中需要进行适当的设置。这些装置包括照明亮度、 摄像机曝光时间、 颜色增益， 其包 括图像传感器阵列中的每个滤色器相应的各个参数、 光圈配置、 光圈尺寸、 快门速度、 F指 数、 后采集图像处理的阈值等等。此外， 除了照明和曝光以外的图像参数可以随抽屉而变 化， 并且应该在成像过程期间被编址。这些附加参数或条件包括， 例如， 用于在摄像机视野 之内成像的兴趣区域 (ROI) 的位置和尺寸 ； ROI 是否过多地被成像， 从而可以停下或关闭某 些摄像机以节约电量 ； 以及 ROI 上的视差效应。 常规的成像技术通常根据从摄像机到目标物体的实时检测距离来决定需要的设 置， 然后即时地计算需要的参数以及设置。 然而， 这种实时的计算需要快速并且强大的处理 器， 其增加了系统的成本。 本发明提供了一种独特的算法， 其极大地降低了系统的计算负荷 并且显著地提高了计算步骤的速度。
依据本发明的典型工具存储系统预存包括从每个单独的抽屉到各个摄像机的距 离的参考数据， 以及根据每个单独的抽屉的标识和不同的环境照明条件的所需的参数设 置。参考数据可以在生产工具存储系统期间产生。从每个单独的摄像机到各个抽屉的距离 被测量并且记录。 所记录的每个距离在不同照明条件下的理想图像参数通过标准方法被确 定并且被存储在对照表中。该对照表同样存储与各个抽屉相应的附加信息， 包括用于在摄 像机视野之内成像的兴趣区域 (ROI) 的位置和尺寸， ROI 是否过多地被成像， 从而可以停下 或关闭某些摄像机以节约电量， 以及 ROI 上的视差效应。
在操作期间， 典型的工具存储系统确定正被存取的目标抽屉的标识以及 环境的照明条件。根据抽屉的确定标识以及检测的照明条件， 典型的系统存取的参考数据 包括在不同照明条件下与目标抽屉相应的每个摄像机的预存距离信息， 以及根据检测到的 照明状态和该距离确定的理想图像参数。 这种方法省去了系统处理器执行复杂检测和计算 以确定与目标抽屉的距离和用于抽屉成像所需的图像参数的必要。相反地， 需要的所有数 据可以从预存的对照表中得到。相应地， 可以使用适当的参数和 / 或设置来采集相应抽屉 的成像或在采集之后处理 / 操作相应抽屉的成像， 以便获得具有足够品质的图像。在具有 多个摄像机的系统中， 单独的一个摄像机可用于设置所有摄像机和照度控制的总的参数标 准。
典型的系统可以使用不同的方法确定正被存取的抽屉的标识。根据一个实施例， 每个抽屉都与标识符相对应， 当抽屉进入摄像机的视野时所述标识符可以被摄像机所检 测。摄像机根据该唯一标识符确定抽屉的标识。例如， 该标识符可以是与每个抽屉唯一对
应的图案， 例如条形码、 标识号码、 唯一的图案等等。标识符对于所有抽屉可以使用相同的 图案， 但其位置应该与每个抽屉唯一对应。同样也可以使用放置在离摄像机的中心轴的恒 定位置的相同图案而视差可被用来标识目标。
在操作过程中， 抽屉初始图像被处理以查找该唯一的图案， 该图案使系统能够确 定目标在视野范围内并且确定与目标的实际距离。 这使系统能够确定随后的图像应使用哪 种预先计算的照明和曝光设置。识别图案可以是相对每个目标距离单独的唯一图像图案， 或可以是公共图案， 其尺寸或位置能够确定目标的距离。识别图案被设计成能对摄像机呈 现出对比度强的图像， 从而在较宽的照明和曝光控制范围下能够被解码。 例如， 可以是使用 白底黑圈的图案。 根据另一个实施例， 每个抽屉具有两个位置关系已知的参考图案， 例如距 离已知。 由于抽屉渐进地远离摄像机， 抽屉的成像和参考图案之间的距离同样变得更小。 参 考图案之间的不同距离的对照表和相应的抽屉标识被存储在系统中。 当抽屉的图像被采集 时， 系统使用参考图案之间的距离 ( 以像素为单位 ) 和对照表以确定哪些抽屉正被打开。
在另一个实施例中， 每个抽屉都与运动传感器、 接触传感器或位置检测器相对应， 以检测各个抽屉的运动。通过确定哪些传感器或检测器正被移动的抽屉启动， 或根据启动 的传感器或检测器所发射的信号状态， 典型的系统可以确定需要成像的抽屉的标识。
典型的工具存储系统使用独特的方法来完成颜色校准和 / 或调整颜色增益。每个 抽屉具有带有预置颜色属性的 “颜色编码” 区域。颜色编码区域可以是任意区域， 例如已知 颜色的背景、 已知颜色的泡沫、 已知颜色的张贴物等等。 与预置颜色属性有关的信息被存储 在系统的永久存储器中。
颜色编码区域在初始条件下被成像。从摄像机传感器获得 “raw” 或 “raw bayer” 格式的图像。使用本领域技术人员公知的数学转化， raw 格式的传感器数据可被转化为不 同的色空间 (color spaces)， 例如 IHS( 亮度、 色调和饱和度 )， 以允许在初始条件下提取拍 摄图像的属性。转化的结果可以使用许多统计平均方法进行改进。根据所采集的颜色编码 区域的颜色属性和预置颜色属性之间的差异来产生颜色补偿值。根据该补偿值， 系统确定 是否应该调节摄像机的一些设置， 例如色彩增益、 曝光等等， 以获得合适的图像质量。在一 个实施例中， 这种调节被用于随后所有的图像。 根据另一个实施例， 系统对于每个单独的图 像完成上述颜色校准。
根据另一个实施例， 颜色编码区域的初始图像作为基准图像信息存储。之后所有 的颜色编码区域图像与基准图像相比以确定补偿值。然后根据该计算的补偿值， 系统确定 是否应该调节摄像机的任何设置， 例如色彩增益、 曝光等等， 以匹配该基准信息。 例如， 对于 每个属性， 基准资料和后续图像之间的差异可被计算得出并且与预设的阈值相比较。如果 该差异超过阈值， 系统继对随后的图像续进行调节。否则， 不会对图像进行调节。如上所 述， 当图像被拍摄时可以进行调节或在采集图像被图像检测装置获取之后向采集图像应用 该调节。
用于调整图像属性的技术是公知的， 将不再重述。 例如， 可以通过改变颜色之间的 增益比值来调整色调。如果白色区域看来像浅蓝色， 可以减小蓝色检测器增益以使该区域 显得白些。为了调整颜色增益并且曝光， 摄像机相对四个底板图案过滤设置具有单独的增 益调节。增益比可以在摄像机级别的不同过滤元件之间进行调整。可以通过改变拍摄或图 像期间图像的曝光时间将图像增益应用为后处理步骤， 或通过增加自照明硬件的光输出来调整曝光。颜色的亮度与所有滤色器返回的总光线有关。如果给定的强度低于理想值， 可 以增加所有的增益， 延长摄像机曝光时间， 或者将光照设置为更高的级别。 饱和度与给定颜 色的亮度有关。此外， 可以调节曝光和增益以将实际级别与理想级别相匹配。
网络存储系统
本发明所描述的存储系统可以与检验中心的远程服务器相连， 以使每个存储系统 的库存状态可以及时的更新并且汇报至服务器。如图 9 所示， 服务器 802 通过无线网络与 多个存储系统 800 相连。服务器 802 可以包括数据库服务器， 例如微软公司的 SQL 服务器。 与验证、 授权用户、 库存状态、 检验跟踪等等有关的信息被存储在数据库中。
在一个实施例中， 每个存储系统 800 具有数据收发机， 例如 802.11g 或以太网模 块。 以太网模块直接连接到网络， 而 802.11g 模块可以通过 802.11g 路由器连接到网络。 这 些网络模块的每一个都分配有静态或动态的 IP 地址。在一个实施例中， 存储系统 800 通过 数据收发机以周期性的基础登入到服务器， 来下载有关授权用户、 不同用户或不同密钥卡 的权限级别、 相关存储系统等等的信息。存储系统 800 同样将与系统有关的信息上传至服 务器 802， 例如库存状态、 抽屉图像、 工具使用、 存取记录、 用户存取存储系统 800 的信息等 等。每个存储系统 800 可以由交流电源或电池组供电。不间断供电电源 (UPS) 系统可以在 电源故障期间提供电源。
服务器 802 允许管理员或审核人复查与每个存储系统 800 有关的存取信息， 例如 库存状态以及与每次存取存储系统 800 有关的信息， 如用户信息、 使用持续时间、 库存状 态、 库存状态的变化、 抽屉图像或存储系统的内容等等。在一个实施例中， 服务器 802 可以 与存储系统 800 形成实时的联系， 并且从存储系统下载信息。管理员或审核人同样可以通 过服务器 802 对每个存储系统上的存取控制装置进行编程， 例如改变密码和被授权的人 员， 为每个存储系统添加或删除授权的用户等等。准许对每个存储系统 800 进行存取所需 的授权数据可被服务器 802 编程和更新， 并且被下载至每个存储系统 800。 授权数据可以包 括密码和被授权的人员、 为每个存储系统添加或删除授权的用户、 用户合法性或验证算法、 用于加密和 / 或解密的公开密钥、 用户黑名单、 用户白名单等等。其他数据更新可以从服务 器 802 传输到每个存储系统， 例如软件更新等等。 类似地， 存储系统 800 上进行的任何改变， 例如改变密码、 添加或删除授权用户等等， 将被更新至服务器 802。
对于用户提交的每次存取请求， 根据用户通过数据输入设备输入的用户信息和授 权数据确定用户的权限， 存储系统可以确定用户的授权以验证或确认该用户。根据验证的 结果， 数据处理器通过控制存取控制装置， 例如锁， 选择性地允许对存储系统的存取， 以允 许对存储系统 800 或一个或多个存储系统 800 的一个或多个存储抽屉存取。
服务器 802 同样允许管理员同时对指定组 850 内的多个存储系统 800 进行程序编 制。管理员可以选择哪些特定的存储系统应该在组 850 中。一旦用户被授权存取组 850， 该 用户可以对组 850 内的所有存储系统进行存取。例如， 存储用于汽车的工具的存储系统组 可被指定为汽车工具组， 而另一个存储用于电气工作的工具的存储系统组可被指定为电气 工具组。服务器 802 对一个组进行的任何设置， 调节或编程自动地被应用在组中的所有工 具存储系统上。例如， 服务器 802 可以对工具存储系统编程以允许汽车技术人员对汽车工 具组中的所有工具存储系统进行存取， 而不是电气工具组中的那些工具存储系统。在一个 实施例中， 每个系统 800 只包括足以操作的最小化的智能。其他所有的数据处理、 用户身份证验证、 图像处理等等由服务器 802 完成。
类似地， 服务器 802 同样允许管理员同时对指定组内的多个存储抽屉 330 进行程 序编制。管理员可以选择相同系统或不同存储系统中的哪些特定的存储抽屉可以在该组 中。一旦用户被授权存取该组， 该用户可以对组内的所有存储抽屉进行存取。例如， 存储用 于汽车的工具的存储系统组可被指定为汽车工具组， 而另一个存储用于电气工作的工具的 存储系统组可被指定为电气工具组。
在另一个实施例中， 如图 9 所示的典型网络存储系统利用分级权限结构来管理对 存储系统的存取。一个或多个存储系统 800 被给定为主存储系统的状态。每个主存储系统 具有一个或多个相连的从属存储系统。如果用户被批准存取主存储系统， 相同用户自动地 被授权存取与该主系统相关的任意从属存储系统。反之， 如果用户被批准存取从属存储系 统， 那么该从属系统的权限并未自动地允许该用户存取与其关联的主存储系统或与同样的 主存储系统相关联的其他从属存储系统。
根据另一个实施例， 图 9 中所示典型的网络存储系统允许用户利用多个分级权限 级别进行存取。每个权限级别与预定的存储系统相关联， 管理员可以通过服务器 802 对其 进行编程。当用户被分配了特定的权限级别， 该用户被授权存取与被分配的权限级别相关 的所有存储系统， 以及在权限体系中所有权限级别比该分配权限的权限级别低的所有存储 系统， 而不能够存取在权限体系中那些权限级别比该分配权限级别高的存储系统。
检验
依据本发明的典型的库存控制系统记录与每次存取有关的各种类型的信息。例 如， 系统 800 记录每个存取的日期、 时间和 / 或持续时间， 以及用户提交的用于获得对系统 800 进行存取的相应用户信息。 如前所述， 系统 800 在每次存取期间采集存储单元的一个或 多个图像用于确定库存状态。该图像与每次存取和存取用户有关系并且被存储在系统 800 中。 系统 800 可以在本地存储该信息或将获得的信息通过无线通信网络上传至服务器 802， 如图 9 中所示。
服务器 802 可以对接收自每个系统 800 的信息进行处理和编译， 以产生每个服务 器 802 的检验记录 (audit trail)。该检验记录可被具有适当权限级别的管理员或用户存 取。 可以根据授权用户的选择产生并且重新得到不同类型的检验记录。 例如， 可以针对一个 或多个特定日期、 一个或多个特定用户、 一个或多个特定工具、 一个或多个 ID 等等产生检 验记录。附加的信息和分析可由服务器 802 产生并且提供。例如， 系统 802 可以跟踪特定 工具一段时间之内的使用情况， 并且生成总结每个工具的使用频率的报告以用于评估。这 种报告可用来确定哪些工具被更频繁地使用以及哪些工具可能不需要， 因为它们相比其它 工具更少的被使用。数据可通过相关的标准， 例如日期、 用户、 或抽屉， 而被存储， 以使在当 抽屉被打开或关闭时， 检验人员可以看到抽屉的确切状态。
如果由于某些外来杂物或其它原因， 而检测到特定的工具不正常， 检验中心 802 发出警告， 该警告具有问题抽屉的特定区域的图像。其通过向图像子系统请求受影响区域 的图像来完成。
根据一个实施例， 系统 800 通过屏幕装置显示工具存储系统的状态。系统 800 的 显示器具有定制的屏幕保护 (saver)， 其能够根据工具管理系统的状态以三种不同颜色中 的一个进行显示。如果所有工具都被登记并且箱子是关闭的， 屏幕保护显示绿色的跳动图标。如果工具目前被借出而箱子是关闭的， 就显示黄色的跳动图标。如果系统目前是打开 的， 显示红色图标。
根据另一个实施例， 系统 800 的显示器具有工具存储系统的图形表示， 其能够动 态地更新工具存储系统 800 的状态。工具存储系统 800 的图像被显示并且抽屉将反映系统 的当前状态。如果抽屉是打开的， 抽屉将在显示器上被显示成红色。如果抽屉是关闭的但 工具目前被借出， 抽屉将显示为黄色。 如果抽屉是关闭的并且所有的工具目前都在抽屉内， 抽屉将是具有黑色轮廓的空白。
图 10a 所示的是相对于特定存储系统 800 的检验记录的典型屏幕。对系统 800 的 每次存取通过与每次存取相关的用户的数据 / 时间和用户信息 910 识别。用户信息可以包 括用户在请求存取系统 800 时提交的任何信息， 例如指纹、 面部识别图像、 用户摄像机拍摄 的用户图像、 密码、 存储在出入证中的信息、 用于验证的任何信息等等。 在一个实施例中， 每 个用户的用户面部特征数据被存储在系统 800 或服务器 802 中。对于每次存取， 用户存取 系统 800 的图像被用户摄像机采集。用户提交的用于存取系统 800 的用户信息， 例如存储 在出入证和 / 或密码中的信息被采集起来。将采集的图像与用户信息所确认的用户面部特 征相比较。系统 800 或服务器 802 确定存取系统 800 的用户面部特征是否与用户信息所确 定的用户面部特征相匹配。
在每次存取存储系统 800 期间拍摄一个或多个图像。图 10b 所示的是在用户存 取存储位置之前， 或如本发明之前所述当抽屉在第一方向移动时由系统 800 的摄像机拍摄 的典型的 “存取之前” 图像。如图 10b 所示， 各个工具被正确地存储在相应的存储位置。图 10c 所示的是在存取终止之后， 或如前所述当存储抽屉在第二方向移动时， 由系统 800 的摄 像机拍摄的典型的 “存取之后” 图像。如图 10c 所示， 缺少与存储位置 951 和 952 对应的工 具。根据图 10c 所示的图像， 系统 800 确定了正缺少存储位置 951 和 952 中的工具。产生 与遗失工具以及与其存取有关的用户的检验记录。图 10d 所示的是存储在系统 800 和 / 或 服务器 802 中的典型记录， 其中存储了 “存取之前” 图像 981 和 “存取之后” 图像 982。根据 “存取之后” 图像 982 可以确定遗失的工具并且登记在区域 980 中。
在上述的说明书中， 为了对本发明有一个彻底的了解， 许多的细节被描述出来， 例 如具体的材料、 结构、 工艺等等。 然而， 本领域技术人员应当承认的是， 本发明在实际应用中 可以不依靠描述的具体内容。 在其他情况下， 为了不给本发明带来不必要地晦涩， 公知的工 艺结构没有被详细描写。
在本发明中仅仅是展示并且描述了本发明示意性的实施例以及它们通用性的例 子。 应当理解的是， 本发明能够用于不同的其他组合和环境中使用， 而且在这里所表示的本 发明构思范畴内能够进行变化或修改。