《用于在视频帧中识别物品的视频处理系统.pdf》由会员分享,可在线阅读,更多相关《用于在视频帧中识别物品的视频处理系统.pdf(32页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103443816 A (43)申请公布日 2013.12.11 CN 103443816 A *CN103443816A* (21)申请号 201280013401.X (22)申请日 2012.03.16 13/050,721 2011.03.17 US G06Q 30/06(2006.01) G06Q 50/10(2006.01) (71)申请人 电子湾有限公司 地址 美国加利福尼亚州 (72)发明人 史蒂夫扬科维奇 瑞安迈尔奇 罗伯特迪安维雷斯 (74)专利代理机构 北京律盟知识产权代理有限 责任公司 11287 代理人 齐杨 (54) 发明名称 用于在视频帧。
2、中识别物品的视频处理系统 (57) 摘要 一种方法及系统基于在来自移动装置的视频 帧中识别的物品为移动装置的用户产生报价。视 频帧选择器模块确定来自所述移动装置的待处理 视频帧。物品识别模块在所述所确定视频帧中识 别物品且用所述物品的标识给所述所确定视频帧 加标签。为所述移动装置产生来自至少一个商家 的所述所识别物品的报价。 (30)优先权数据 (85)PCT申请进入国家阶段日 2013.09.16 (86)PCT申请的申请数据 PCT/US2012/029421 2012.03.16 (87)PCT申请的公布数据 WO2012/125920 EN 2012.09.20 (51)Int.Cl.。
3、 权利要求书 4 页 说明书 10 页 附图 17 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书10页 附图17页 (10)申请公布号 CN 103443816 A CN 103443816 A *CN103443816A* 1/4 页 2 1. 一种系统, 其包括 : 处理器实施的视频帧选择器模块, 其经配置以确定从移动装置接收的待处理视频帧 ; 处理器实施的物品识别模块, 其经配置以在所述所确定视频帧中识别物品且用所述物 品的标识给所述所确定视频帧加标签 ; 及 处理器实施的市场模块, 其经配置以为所述移动装置产生来自至少一个商家的所述所 识别物品。
4、的报价。 2. 根据权利要求 1 所述的系统, 其进一步包括 : 处理器实施的基于位置的激励模块, 其经配置以基于所述所识别物品及所述移动装置 的地理位置而提供来自至少一个本地商家的激励。 3. 根据权利要求 1 所述的系统, 其中所述处理器实施的视频帧选择器模块包括 : 视频 帧分析器模块, 其经配置以确定第一视频帧与第二视频帧之间的差异 ; 及视频帧标签模块, 其经配置以在所述差异超过预定量时给所述第一或第二视频帧加标签以用于物品识别。 4. 根据权利要求 1 所述的系统, 其中所述处理器实施的物品识别模块包括 : 处理器实施的场景解构器模块, 其经配置以将所述所确定视频帧中的场景解构成多。
5、个 区域 ; 处理器实施的区域选择器模块, 其经配置以接收对所述所确定视频帧中的区域的用户 选择以识别所述物品 ; 处理器实施的用户标签模块, 其经配置以接收用户输入标签以帮助在所述所确定视频 帧中识别所述物品 ; 及 处理器实施的图像辨识模块, 其经配置以基于来自所述所确定视频帧的所述物品的图 像与物品图像库的比较而识别所述物品且在所述所确定视频帧中标注所述所识别物品的 所述图像。 5. 根据权利要求 4 所述的系统, 其中所述处理器实施的图像辨识模块进一步经配置以 在所述所确定视频帧的对应区域中识别所述物品。 6. 根据权利要求 4 所述的系统, 其中所述处理器实施的图像辨识模块进一步经配。
6、置以 在所述所确定视频帧中的所述选定区域中识别所述物品。 7. 根据权利要求 4 所述的系统, 其中所述处理器实施的图像辨识模块进一步经配置以 确定所述所识别物品的名称及所述所识别物品的价格, 且在所述所确定视频帧中邻近于所 述所识别物品的所述图像标注所述所识别物品的所述名称及价格。 8. 根据权利要求 3 所述的系统, 其中所述处理器实施的基于位置的激励模块包括 : 处理器实施的位置识别模块, 其经配置以确定所述移动装置的所述地理位置 ; 及 处理器实施的激励模块, 其经配置以基于所述所识别物品及所述移动装置的所述地理 位置而提供来自所述至少一个本地商家的激励, 其中所述激励包括优惠券、 折。
7、扣或推荐。 9. 根据权利要求 8 所述的系统, 其中所述处理器实施的激励模块包括 : 处理器实施的本地商家模块, 其经配置以基于所述移动装置的所述地理位置而识别具 有至少一个激励的所述至少一个本地商家 ; 处理器实施的激励匹配模块, 其经配置以确定由所述用户识别的所述物品是否对应于 在所述至少一个本地商家的所述至少一个激励中识别的物品 ; 处理器实施的通信模块, 其经配置以将来自所述至少一个本地商家的所述所识别物品 权 利 要 求 书 CN 103443816 A 2 2/4 页 3 的所述至少一个激励传达给所述移动装置 ; 及 处理器实施的激励接收器模块, 其经配置以从至少一个本地商家接收。
8、激励的属性且将 所述激励的所述属性存储于数据库中, 其中针对物品的所述激励的所述属性包括以下各项中的至少一者 : 所述本地商家的名 称属性、 所述物品的名称属性、 所述物品的品牌属性、 所述物品的型号属性、 所述物品的类 别标签、 所述物品的子类别标签、 所述物品的金融促销属性及所述物品的金融促销条款属 性。 10. 一种计算机实施的方法, 其包括 : 确定来自移动装置的待处理视频帧 ; 在所述所确定视频帧中识别物品 ; 用所述物品的标识给所述所确定视频帧加标签 ; 及 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。 11. 根据权利要求 10 所述的计算机实施的方法, 其进一步包。
9、括 : 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。 12. 根据权利要求 10 所述的计算机实施的方法, 其进一步包括 : 基于所述所识别物品及所述移动装置的地理位置而提供来自至少一个本地商家的激 励。 13. 根据权利要求 10 所述的计算机实施的方法, 其中确定所述视频帧包括 : 确定第一视频帧与第二视频帧之间的差异 ; 及 在所述差异超过预定量时给所述第一或第二视频帧加标签以用于物品识别。 14. 根据权利要求 10 所述的计算机实施的方法, 其中识别所述物品包括 : 将所述所确定视频帧中的场景解构成多个区域 ; 接收对所述所确定视频帧中的区域的用户选择以识别所述物品 ;。
10、 接收用户输入标签以帮助在所述所确定视频帧中识别所述物品 ; 基于来自所述所确定视频帧的所述物品的图像与物品图像库的比较而识别所述物品 ; 及 在所述所确定视频帧中标注所述所识别物品的所述图像。 15. 根据权利要求 14 所述的计算机实施的方法, 其进一步包括 : 在所述所确定视频帧的对应区域中识别所述物品。 16. 根据权利要求 14 所述的计算机实施的方法, 其进一步包括 : 在所述所确定视频帧中的所述选定区域中识别所述物品。 17. 根据权利要求 14 所述的计算机实施的方法, 其进一步包括 : 确定所述所识别物品的名称及所述所识别物品的价格 ; 及 在所述所确定视频帧中邻近于所述所识。
11、别物品的所述图像标注所述所识别物品的所 述名称及价格。 18. 根据权利要求 12 所述的计算机实施的方法, 其进一步包括 : 确定所述移动装置的地理位置 ; 及 基于所述所识别物品及所述移动装置的所述地理位置而提供来自所述至少一个本地 商家的所述激励, 其中所述激励包括优惠券、 折扣或推荐。 权 利 要 求 书 CN 103443816 A 3 3/4 页 4 19. 根据权利要求 18 所述的计算机实施的方法, 其进一步包括 : 基于所述移动装置的所述地理位置而识别具有至少一个激励的至少一个本地商家 ; 确定由所述用户识别的所述物品是否对应于在所述至少一个本地商家的所述至少一 个激励中识别。
12、的物品 ; 将来自所述至少一个本地商家的所述所识别物品的所述至少一个激励传达给所述移 动装置 ; 从至少一个本地商家接收激励的属性且将所述激励的所述属性存储于数据库中, 其中针对物品的所述激励的所述属性包括以下各项中的至少一者 : 所述本地商家的名 称属性、 所述物品的名称属性、 所述物品的品牌属性、 所述物品的型号属性、 所述物品的类 别标签、 所述物品的子类别标签、 所述物品的金融促销属性及所述物品的金融促销条款属 性。 20. 一种非暂时计算机可读存储媒体, 其存储在由处理器执行时致使所述处理器执行 操作的指令集, 所述操作包括 : 确定来自移动装置的待处理视频帧 ; 在所述所确定视频帧。
13、中识别物品 ; 用所述物品的标识给所述所确定视频帧加标签 ; 及 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。 21. 根据权利要求 20 所述的非暂时计算机可读存储媒体, 其进一步包括 : 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。 22. 根据权利要求 20 所述的非暂时计算机可读存储媒体, 其进一步包括 : 基于所述所识别物品及所述移动装置的地理位置而提供来自至少一个本地商家的激 励。 23. 根据权利要求 20 所述的非暂时计算机可读存储媒体, 其中确定所述视频帧包括 : 确定第一视频帧与第二视频帧之间的差异 ; 及 在所述差异超过预定量时给所述第一或第二。
14、视频帧加标签以用于物品识别。 24. 根据权利要求 20 所述的非暂时计算机可读存储媒体, 其中识别所述物品包括 : 将所述所确定视频帧中的场景解构成多个区域 ; 接收对所述所确定视频帧中的区域的用户选择以识别所述物品 ; 接收用户输入标签以帮助在所述所确定视频帧中识别所述物品 ; 基于来自所述所确定视频帧的所述物品的图像与物品图像库的比较而识别所述物品 ; 及 在所述所确定视频帧中标注所述所识别物品的所述图像。 25. 根据权利要求 24 所述的计算机实施的方法, 其进一步包括 : 在所述所确定视频帧的对应区域中识别所述物品。 26. 根据权利要求 24 所述的计算机实施的方法, 其进一步包。
15、括 : 在所述所确定视频帧中的所述选定区域中识别所述物品。 27. 根据权利要求 24 所述的计算机实施的方法, 其进一步包括 : 确定所述所识别物品的名称及所述所识别物品的价格 ; 及 在所述所确定视频帧中邻近于所述所识别物品的所述图像标注所述所识别物品的所 权 利 要 求 书 CN 103443816 A 4 4/4 页 5 述名称及价格。 28. 根据权利要求 20 所述的计算机实施的方法, 其进一步包括 : 确定所述移动装置的地理位置 ; 及 基于所述所识别物品及所述移动装置的所述地理位置而提供来自所述至少一个本地 商家的所述激励, 其中所述激励包括优惠券、 折扣或推荐。 29. 根据。
16、权利要求 28 所述的计算机实施的方法, 其进一步包括 : 基于所述移动装置的所述地理位置而识别具有至少一个激励的至少一个本地商家 ; 确定由所述用户识别的所述物品是否对应于在所述至少一个本地商家的所述至少一 个激励中识别的物品 ; 将来自所述至少一个本地商家的所述所识别物品的所述至少一个激励传达给所述移 动装置 ; 从至少一个本地商家接收激励的属性且将所述激励的所述属性存储于数据库中, 其中针对物品的所述激励的所述属性包括以下各项中的至少一者 : 所述本地商家的名 称属性、 所述物品的名称属性、 所述物品的品牌属性、 所述物品的型号属性、 所述物品的类 别标签、 所述物品的子类别标签、 所述。
17、物品的金融促销属性及所述物品的金融促销条款属 性。 权 利 要 求 书 CN 103443816 A 5 1/10 页 6 用于在视频帧中识别物品的视频处理系统 0001 相关申请案交叉参考 0002 本申请案主张 2011 年 3 月 17 日提出申请的第 13/050,721 号美国专利申请案的 优先权权益, 所述专利申请案以全文引用的方式并入本文中。 技术领域 0003 本申请案的实例性实施例大体来说涉及图像辨识, 且更具体来说涉及一种用于在 视频帧中识别物品的方法及系统。 背景技术 0004 例如智能电话等移动装置已变得越来越普遍。 大多数智能电话包含用于拍摄图片 的光学镜头。在 ( 。
18、举例来说 ) 朋友住所处或正在街道上行走时对一物品感兴趣的用户可使 用智能电话上的相片特征来拍摄所述物品的图片。遗憾地, 智能电话的用户必须握持移动 装置, 且正摄取的物体需要保持静态, 否则图片结果将是模糊的。如此, 用户可选择记录动 态场景的视频来代替拍摄图片。 发明内容 附图说明 0005 在附图的各图中, 以实例的方式而非限制的方式来图解说明本发明, 附图中 : 0006 图1是描绘根据一个实施例的具有经配置以用于在网络上交换数据的客户端-服 务器架构的网络系统的网络图 ; 0007 图 2 是图解说明视频处理器应用程序的实例性实施例的框图 ; 0008 图 3 是图解说明视频帧选择器。
19、模块的实例性实施例的框图 ; 0009 图 4 是图解说明物品识别模块的实例性实施例的框图 ; 0010 图 5 是图解说明基于位置的激励模块的实例性实施例的框图 ; 0011 图 6 是图解说明位置识别模块的实例性实施例的框图 ; 0012 图 7 是图解说明激励模块的实例性实施例的框图 ; 0013 图 8 是图解说明数据结构的实例性实施例的表 ; 0014 图 9A 是图解说明经加标签视频帧的实例的框图 ; 0015 图 9B 是图解说明经加标签视频帧的另一实例的框图 ; 0016 图 10 是用于用物品给视频帧加标签的实例性方法的流程图 ; 0017 图 11 是用于选择视频帧的实例性。
20、方法的流程图 ; 0018 图 12 是用于给视频帧加标签的实例性方法的流程图 ; 0019 图 13A 是用于在视频帧中识别物品的实例性方法的流程图 ; 0020 图 13B 是用于在视频帧中识别物品的另一实例性方法的流程图 ; 0021 图 14A 是用于提供关于经加标签视频帧中的物品的信息的实例性方法的流程图 ; 说 明 书 CN 103443816 A 6 2/10 页 7 0022 图 14B 是用于提供关于经加标签视频帧中的物品的基于位置的信息的实例性方 法的流程图 ; 0023 图 15A 是用于识别基于位置的激励的另一实例性方法的流程图 ; 0024 图 15B 是用于识别目标。
21、性激励的另一实例性方法的流程图 ; 0025 图 15C 是用于扩展对本地激励的搜索的实例性方法的流程图 ; 0026 图 16 展示呈计算机系统的实例性形式的机器的图解表示, 可在所述机器内执行 致使所述机器执行本文中所论述的方法中的任何一者或一者以上的指令集。 具体实施方式 0027 虽然已参考特定实例性实施例描述了本发明, 但将显而易见, 可在不背离本发明 的较广泛精神及范围的情况下对这些实施例做出各种修改及改变。因此, 应将说明书及图 式视为具有说明性意义而非限制性意义。 0028 在各种实施例中, 一种方法及系统基于在来自移动装置的视频帧中识别的物品而 给移动装置的用户产生报价。视频。
22、帧选择器模块确定来自所述移动装置的待处理视频帧。 物品识别模块使用图像辨识算法在所述所确定视频帧中识别物品且用所述物品的标识给 所述所确定视频帧加标签。 还可在所述视频帧中邻近于所述所识别物品放置识别所述物品 的标签。 在一个实施例中, 所述报价仅包含通过一个或一个以上商家购买产品的报价。 在另 一实施例中, 所述报价包含基于移动装置的地理位置的对所述移动装置的用户的激励。激 励包含且不限于促销、 折扣、 廉价出售、 优惠券等等。 在另一实施例中, 所述激励还可包含物 品推荐。 0029 图1是描绘根据一个实施例的具有经配置以用于在网络上交换数据的客户端-服 务器架构的网络系统 100 的网络。
23、图。举例来说, 网络系统 100 可为其中客户端可在网络系 统 100 内传达及交换数据的发布 / 发布者系统 102。所述数据可涉及与网络系统 100 及其 用户相关联的各种功能 ( 例如, 在线物品购买 ) 及方面 ( 例如, 管理内容及用户信誉值 )。 虽然在本文中作为实例图解说明为客户端 - 服务器架构, 但其它实施例可包含其它网络架 构, 例如对等或分布式网络环境。 0030 呈基于网络的发布者102的实例性形式的数据交换平台可经由网络104(例如, 因 特网 ) 给一个或一个以上客户端提供服务器侧功能性。所述一个或一个以上客户端可包含 利用网络系统 100 且更具体来说利用基于网络。
24、的发布者 102 在网络 114 上交换数据的用 户。这些交易可包含向网络系统 100 的用户发射、 从所述用户接收 ( 传达 ) 及处理关于网 络系统 100 的内容及用户的数据。所述数据可包含 ( 但不限于 ) 例如以下各项的内容及用 户数据 : 反馈数据 ; 用户信誉值 ; 用户简档 ; 用户属性 ; 产品与服务评论 ; 产品、 服务、 制造 及卖场推荐及识别符 ; 与买方及卖方相关联的产品与服务列表 ; 拍卖出价 ; 及交易数据以 及其它。 0031 在各种实施例中, 网络系统 100 内的数据交换可取决于通过一个或一个以上客户 端或用户接口 (UI) 可用的用户选择的功能。所述 UI。
25、 可与客户端机器 ( 例如使用 web 客户 端 110 的客户端机器 106) 相关联。web 客户端 110 可经由 web 服务器 120 与基于网络的发 布者 102 通信。所述 UI 还可与使用程序客户端 112( 例如客户端应用程序 ) 的客户端机器 108 或托管第三方应用程序 116 的第三方服务器 114 相关联。可了解, 在各种实施例中, 客 说 明 书 CN 103443816 A 7 3/10 页 8 户端机器 106、 108 或第三方应用程序 114 可与买方、 卖方、 第三方电子商务平台、 付款服务 提供者或装运服务提供者相关联, 每一者均与基于网络的发布者 10。
26、2 通信且任选地彼此通 信。买方及卖方可为个体、 商家或服务提供者以及其它中的任一者。 0032 移动装置 132 也可经由 web 服务器 120 与基于网络的发布者 102 通信。移动装置 132 可包含提供客户端机器 106 及 108 的功能性中的至少一些功能性的便携式电子装置。 移动装置132可包含经配置以与应用程序服务器122通信的第三方应用程序116(或web客 户端 )。在一个实施例中, 移动装置 132 包含 GPS 模块 134 及光学镜头 136。GPS 模块 134 经配置以确定移动装置132的位置。 光学镜头136使得移动装置132能够拍摄图片及视频。 0033 具体。
27、来说, 转到基于网络的发布者 102, 应用程序接口 (API) 服务器 118 及 web 服 务器 120 分别耦合到一个或一个以上应用程序服务器 122 且提供到其的程序及 web 接口。 应用程序服务器 122 托管一个或一个以上发布应用程序 124。又展示应用程序服务器 122 耦合到促进对一个或一个以上数据库 128 的接入的一个或一个以上数据库服务器 126。 0034 在一个实施例中, web 服务器 120 及 API 服务器 118 经由各种用户输入工具传达 及接收涉及列表、 交易及反馈以及其它的数据。举例来说, web 服务器 120 可将数据发送到 在客户端机器 ( 例。
28、如, 客户端机器 106) 上操作的浏览器应用程序 ( 例如, web 客户端 110) 上的工具栏或网页及从所述工具栏或网页接收数据。API 服务器 118 可将数据发送到在另 一客户端机器 ( 例如, 客户端机器 108 或第三方服务器 114) 上运行的应用程序 ( 例如, 客 户端应用程序 112 或第三方应用程序 116) 及从所述应用程序接收数据。 0035 发布应用程序124可给接入基于网络的发布者102的用户提供若干个发布者功能 及服务(例如, 列表、 付款等)。 举例来说, 发布应用程序124可给用户提供用于列出待售的 商品及 / 或服务、 促进交易以及评论及提供关于交易及相。
29、关联用户的反馈的若干个服务及 功能。另外, 发布应用程序 124 可跟踪并存储与列表、 交易及与基于网络的发布者 102 的用 户交互有关的数据及元数据。 0036 图 1 还图解说明可在第三方服务器 114 上执行且可经由由 API 服务器 118 提供的 程序接口而可对基于网络的发布者102进行程序接入的第三方应用程序116。 举例来说, 第 三方应用程序116可使用从基于网络的发布者102检索的信息来支持由第三方托管的网站 上的一个或一个以上特征或功能。举例来说, 第三方网站可提供由基于网络的发布者 102 的相关应用程序支持的一个或一个以上列表、 反馈、 发布者或付款功能。 0037 。
30、基于网络的发布者 102 可提供众多反馈、 信誉、 聚合以及列表及定价机制, 借此用 户可为列出在基于网络的发布者 102 上发布的商品及 / 或服务 ( 例如, 待售 ) 的卖方或购 买在基于网络的发布者 102 上发布的商品及 / 或服务 ( 例如, 待售 ) 的买方。 0038 展示了发布应用程序 124 包含 ( 除其它之外 ) 一个或一个以上应用程序, 所述一 个或一个以上应用程序支持基于网络的发布者 102 且更具体来说支持列出待售的商品及 / 或服务、 响应于涉及列表的交易而接收反馈以及基于用户之间的交易数据而产生用户的信 誉值。 0039 应用程序服务器122可包含与发布应用程。
31、序124通信的视频处理器应用程序130。 所述视频处理器应用程序处理从移动装置 132 发送的视频帧以识别视频帧中所含有的物 品, 且向移动装置提供物品列表及产生报价或激励, 如下文进一步描述。 在经处理视频帧中 识别出物品时, 给视频帧加标签以允许 “购物暂停” , 在 “购物暂停” 中移动装置 132 的用户 说 明 书 CN 103443816 A 8 4/10 页 9 可暂停视频内容且更多地了解或购买正在视频帧中展示的所识别物品。 0040 图 2 是图解说明视频处理器应用程序 130 的实例性实施例的框图。视频处理器应 用程序 130 可包含视频帧选择器模块 202、 物品识别模块 。
32、204、 市场价格模块 206 及基于位 置的激励应用程序 208。每一模块 ( 或其组件或子模块 ) 可以硬件、 软件、 固件或其任何组 合来实施。在实例性实施例中, 前述模块中的每一者可由至少一个处理器实施。 0041 视频帧选择器模块 202 确定将处理来自移动装置 132 的哪一视频帧 ( 来自视频剪 辑 )。关于图 3 更详细地解释视频帧选择器模块 202 的实施例及操作。 0042 物品识别模块 204 在选定视频帧中识别物品并用所述物品的标识给所确定视频 帧加标签。关于图 4 更详细地解释物品识别符模块 204 的实施例及操作。 0043 市场价格模块 206 为移动装置产生来自。
33、至少一个商家的所识别物品的报价。举例 来说, 市场价格模块206使用在线数据库、 在线价格比较网站及/或在线零售商价格来确定 所识别物品的当前市场价格。在一个实施例中, 市场价格模块 206 可提供所识别物品的来 自在线拍卖网站的最新出价。在另一实施例中, 市场价格模块 206 可提供在零售店 ( 附近 或在线 ) 处出售的所识别物品的价格。 0044 基于位置的激励应用程序208基于所识别物品及移动装置132的地理位置而提供 来自至少一个本地商家的激励。关于图 5 更详细地解释基于位置的激励应用程序 208 的实 施例及操作。 0045 图 3 是图解说明视频帧选择器模块 202 的实例性实。
34、施例的框图。视频帧选择器模 块 202 包括视频帧分析器模块 302 及视频帧标签模块 304。 0046 为了有效地处理视频帧, 视频处理器应用程序 130 仅处理超过预定运动量借此指 示视频帧标的物的改变或移动的视频帧。如此, 视频帧分析器模块 302 确定来自移动装置 132 的视频剪辑中的第一视频帧与第二视频帧之间的场景差异。举例来说, 视频可包含被 摄体正沿着街道行走。如此, 在视频剪辑中, 所述人将相对于街道移动。视频帧分析器模块 302 因此分析标的物已在第一视频帧与第二帧之间移动了多少的差异。 0047 当所述差异超过预定运动量时, 视频帧标签模块 304 给第一或第二视频帧加。
35、标签 以用于物品识别。如此, 并不处理每个视频帧来用于物品识别, 从而保存资源。出于识别目 的而给将处理以用于物品识别的视频帧加标签。举例来说, 用 “购物暂停” 标签给已选择为 处理的视频帧加标签。经加标签视频帧也称为所确定或选定视频帧。在另一实施例中, 视 频帧标签模块在给视频帧加标签以用于购物暂停之前首先确定所述视频帧是否含有待识 别的物品。 0048 图 4 是图解说明物品识别模块 204 的实例性实施例的框图。物品识别模块 204 包 含场景解构器模块 402、 图像辨识模块 404、 区域选择器模块 406 及用户标签模块 408。 0049 场景解构器模块 402 将所确定视频帧。
36、中的场景解构成数个区域。举例来说, 场景 解构器模块 402 分析视频帧的每一区域以用于物品识别。举例来说, 所述视频帧可能含有 具有帽子、 手提包及鞋子的人的图像。场景解构器模块 402 单独地分析一个区域中的帽子、 另一区域中的手提包及另一区域中的鞋子。 0050 图像辨识模块 404 基于来自所确定视频帧的物品的图像与使用图像辨识算法的 物品图像库的比较而识别物品。图像辨识模块 404 在所确定视频帧中进一步标注所识别物 品的图像。 在另一实施例中, 图像辨识模块404在所确定视频帧的对应区域中识别物品。 在 说 明 书 CN 103443816 A 9 5/10 页 10 另一实施例中。
37、, 图像辨识模块 404 在所确定视频帧中的选定区域中识别物品。在一个实施 例中, 图像辨识模块 404 确定所识别物品的名称及所识别物品的价格且在所确定视频帧中 邻近于所识别物品的图像标注所识别物品的名称及价格。 0051 区域选择器模块 406 接收对所确定视频帧中的区域的用户选择以识别物品。举例 来说, 用户可选择视频帧中将聚焦的区域。 使用先前实例, 用户可轻击视频帧中帽子的图像 以识别用户感兴趣的物品。在另一实例中, 用户可轻击并拖动视频帧中的矩形区域以供图 像辨识模块 404 聚焦并分析选定矩形区域中的物品。 0052 用户标签模块 408 接收用户输入标签以帮助在所确定视频帧中识。
38、别物品。举例来 说, 用户可轻击视频帧中帽子的图像且接着键入字 “帽子” 以供图像辨识模块 404 将其搜索 聚焦于帽子上。可将字 “帽子” 加标签给所识别物品。 0053 图 5 是图解说明基于位置的激励模块的实例性实施例的框图。基于位置的激励应 用程序 208 具有位置识别模块 502 及激励模块 506。 0054 位置识别模块 502 确定移动装置 132 的地理位置。激励模块 506 基于所识别物品 及移动装置 132 的地理位置而传达来自一个或一个以上本地商家的激励。所述激励可包含 优惠券、 折扣或推荐。 0055 在一个实施例中, 基于位置的激励应用程序502接收来自移动装置13。
39、2的通信。 举 例来说, 所述通信可包含移动装置 132 的位置。基于移动装置 132 的位置及来自物品识别 符模块 204 的所识别物品, 激励模块 506 查阅数据库服务器 126 及数据库 128 以确定来自 本地商家的激励并将其传达给移动装置 132。 0056 在另一实施例中, 激励模块 506 识别移动装置的区域中具有现货的待售所识别物 品的本地商家。 0057 图 6 是图解说明位置识别模块 502 的实例性实施例的框图。可以许多方式来确定 移动装置 132 的位置。举例来说, 移动装置 132 可配备有全球定位服务 (GPS) 系统, 其将允 许所述装置将移动装置的坐标或位置传。
40、达给位置识别模块 502 的 GPS/ 三角测量模块 602。 在另一实例中, 可使用移动装置 132 的无线信号有效范围内的无线通信塔及 / 或无线节点 ( 例如, wi-fi 热点 ) 通过三角测量来确定移动装置 132 的位置。基于地理坐标, 位置识别 模块 502 的 GPS/ 三角测量模块 602 可在查阅测绘数据库 ( 未展示 ) 之后确定移动装置 132 的地理位置。此外, 可在移动装置 132 的用户登录到本地因特网连接 ( 举例来说, 旅馆或咖 啡店处 ) 上时定位移动装置 132 的大体位置。 0058 位置识别模块502还可包含位置输入模块606, 位置输入模块606经配。
41、置以通过请 求用户输入地址、 城市、 邮政编码或其它位置信息来确定移动装置 132 的地理位置。在一个 实施例中, 用户可从移动装置 132 上的位置列表或地图选择位置。举例来说, 移动装置 132 的用户经由移动装置 132 上的应用程序或 web 浏览器输入移动装置 132 的位置。 0059 位置识别模块 502 还可包含位置相依搜索项模块 604。可在移动装置 132 的用户 使用位置相依搜索项在移动装置上请求搜索时推断移动装置 132 的位置。举例来说, 用户 在他 / 她的移动装置上输入对 “圣何塞最好的日本餐厅” 的搜索。位置相依搜索项模块 604 查阅可确定圣何塞最好的日本餐厅。
42、的地理位置的数据库 ( 未展示 )。位置相依搜索项模块 604接着推断移动装置132的用户处于所述地理位置。 在实例性实施例中, 位置相依搜索项 模块 502 可基于由用户提交的搜索项且不管搜索结果如何或用户是否实际上进行所述搜 说 明 书 CN 103443816 A 10 6/10 页 11 索而推断用户的位置。使用前述实例, 位置相依搜索项模块 504 可剖析由用户键入的搜索 查询且推断用户位于圣何塞或周围。 0060 位置识别模块 502 还可包含经配置以基于与唯一地理位置相关联的标签而确定 移动装置132的地理的标签模块608。 举例来说, 所述标签可包含与唯一地理位置相关联的 条形。
43、码标签, 例如线性条形码、 QR 条形码或其它二维 (2D) 条形码、 射频识别 (RFID) 标签。 举例来说, 移动装置 132 的用户可使用他 / 她的移动装置来扫描放置在地标或商店处的标 签。所述标签与路标或商店的地理位置唯一地相关联。此关系可存储于数据库中。标签模 块 608 可接着在查阅数据库之后基于所述标签而确定移动装置 132 的地理位置。 0061 图7是图解说明可用于执行本文中所描述的过程的激励模块506的实例性实施例 的框图。激励模块 506 包含本地商家模块 702、 物品类别模块 704、 激励匹配模块 706、 用户 偏好模块 708、 激励接收器模块 710、 激。
44、励代码产生器模块 712 以及通信模块 714。 0062 本地商家模块 702 基于由位置识别模块 502 确定的移动装置 132 的地理位置而识 别具有至少一个激励的至少一个本地商家。本地商家是距移动装置 132 的地理位置的距离 在预定义距离范围内的商家或零售商。在一个实施例中, 本地商家模块 702 基于在用户偏 好模块 708 中指定的经更新搜索距离偏好而识别具有至少一个激励的至少一个本地商家。 0063 应注意, 本地商家的激励可能或可能不对应于由用户识别的物品。 举例来说, 本地 商家可能特价出售鞋子, 而所识别物品对应于数码相机。一旦基于移动装置的地理位置而 识别出具有激励的所。
45、有本地商家(使用激励数据库), 激励匹配模块706便基于所识别物品 而对所有本地商家进行过滤。 在先前实例中, 可从搜索结果滤除廉价出售鞋子的本地商家。 0064 物品类别模块 704 确定由用户指定且由物品识别模块 204 识别的物品的类别。举 例来说, 用户可指定特定数码相机。物品类别模块 504 确定由用户指定的物品归入到电子 装置类别、 相机子类别中。 0065 激励匹配模块 706 确定由用户指定的所识别物品是否对应于在由本地商家模块 702确定的至少一个本地商家的至少一个激励中识别的物品。 举例来说, 用户用他/她的移 动装置 132 指定物品。所述物品被识别为特定数码相机。物品识。
46、别模块 204 产生所指定数 码相机的品牌、 型号、 颜色以及其它属性。本地商家模块 702 识别在移动装置 132 的地理位 置本地的具有激励的商家。激励匹配模块 706 匹配具有关于特定数码相机的激励 ( 例如, 廉价出售或折扣 ) 的本地商家。 0066 在另一实施例中, 激励匹配模块 706 确定由用户识别的物品的类别是否对应于由 物品类别模块 704 确定且在至少一个本地商家的至少一个激励中识别的物品的类别。举例 来说, 用户用他 / 她的移动装置指定物品。所述物品被识别为特定数码相机。物品识别模 块 204 产生所指定数码相机的品牌、 型号、 颜色及其它属性。物品类别模块 704 。
47、确定所识别 物品的类别 : 电子装置。本地商家模块 702 识别在移动装置的地理位置本地的具有激励的 商家。激励匹配模块 706 匹配具有关于电子装置或与数码相机相关的类别的激励 ( 例如, 廉价出售或折扣 ) 的本地商家。 0067 用户偏好模块 708 提供在确定本地商家或物品的品牌或类别的过程中使用的用 户定义的偏好。在一个实施例中, 用户偏好模块 708 允许用户更新针对本地商家的搜索距 离偏好。举例来说, 用户可能希望减小在城市的市中心区域中的距离偏好的半径。相反地, 用户可能希望增大在城市的郊区或乡村区域中的距离偏好的半径。在另一实施例中, 用户 说 明 书 CN 10344381。
48、6 A 11 7/10 页 12 偏好模块 708 还可允许用户指定最喜爱的物品品牌或最喜爱的商家或零售商。 0068 激励代码模块 712 产生与由用户在移动装置处选择的至少一个激励相关联的代 码。所述代码在对应本地商家处在预定时间周期内为有效的。举例来说, 用户在他 / 她的 移动装置上选择来自本地商家的优惠券。激励代码模块 712 产生与优惠券相关联的代码。 将所述代码传达给用户的移动装置。用户将代码带到对应的本地商家以兑换折扣。可通过 将代码展示或告知给本地商家的结账台处的收银员而在本地商家处兑换所述代码。 收银员 可接着在结账台处键入代码以确定所述代码的有效性且适当地应用折扣或促销。。
49、 还可通过 在移动装置的屏幕上显示机器可读代码 ( 例如条形码 ) 来兑换代码。用户接着向结账台处 的收银员显示条形码, 所述收银员可扫描所述条形码以确定代码的有效性且适当地应用折 扣或促销。 0069 在一个实施例中, 所述代码可在预定时间周期(例如, 一天、 一周)内为有效的。 在 另一实施例中, 所产生代码可与移动装置的用户唯一地相关联且可在使用之后立即过期。 0070 通信模块 714 将来自至少一个本地商家的所识别物品的一个或一个以上激励传 达给移动装置。举例来说, 显示移动装置的预设距离半径 ( 例如, 一英里 ) 内的本地商家的 列表。本地商家的列表可包含关于由移动装置的用户识别的物品的廉价出售或折扣。所述 列表还可包含位于预设距离半径之外的所推荐商家 ( 具有关于所识别物品的激励 ) 的列 表。 0071 在另一实施例中, 通信模块 714 将来自至少一个本地商家的物品的所识别类别的 一个或一个以上激励传达给移动装置。举例来说, 显示在移动装置的预设距离半径 ( 例如, 街区 )。