《训练姿态分类器及物体分类器、物体检测的方法及装置.pdf》由会员分享,可在线阅读,更多相关《训练姿态分类器及物体分类器、物体检测的方法及装置.pdf(35页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103324938 A (43)申请公布日 2013.09.25 CN 103324938 A *CN103324938A* (21)申请号 201210077224.3 (22)申请日 2012.03.21 G06K 9/62(2006.01) (71)申请人 日电 (中国) 有限公司 地址 100191 北京市海淀区学院路 35 号世 宁大厦 20 层 (72)发明人 唐绍鹏 王峰 刘国翌 张洪明 曾炜 (74)专利代理机构 北京三高永信知识产权代理 有限责任公司 11138 代理人 张耀光 (54) 发明名称 训练姿态分类器及物体分类器、 物体检测的 方法及装置。
2、 (57) 摘要 本发明公开了一种训练姿态分类器及物体分 类器、 物体检测的方法及装置, 属于图像处理领 域。所述物体检测的方法包括 : 获取输入图像样 本 ; 根据所述姿态分类器对所述输入图像样本进 行姿态估计处理 ; 根据所述物体分类器对所述处 理后的输入图像样本进行物体检测, 获取物体的 位置信息, 其中所述物体为具有关节的物体。 本发 明可以对不同姿态的物体进行检测, 从而提高了 物体的检测率。 (51)Int.Cl. 权利要求书 6 页 说明书 20 页 附图 8 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书6页 说明书20页 附图8页 (10)申请公布。
3、号 CN 103324938 A CN 103324938 A *CN103324938A* 1/6 页 2 1. 一种训练姿态分类器的方法, 其特征在于, 包括 : 获取第一训练图像样本集 ; 获取所述第一训练图像样本集中指定个训练图像样本的实际姿态信息 ; 根据所述指定个训练图像样本及其实际姿态信息执行递归训练过程, 生成姿态分类 器。 2. 根据权利要求 1 所述的方法, 其特征在于, 所述根据所述指定个训练图像样本及其 实际姿态信息执行递归训练过程, 生成姿态分类器包括 : 构造损失函数, 其中所述损失函数的输入为所述指定个训练图像样本及其实际姿态信 息, 所述损失函数的输出为所述指定。
4、个训练图像样本的实际姿态信息和估计姿态信息之间 的差异值 ; 构造映射函数, 其中所述映射函数的输入为所述指定个训练图像样本, 所述映射函数 的输出为所述指定个训练图像样本的估计姿态信息 ; 根据所述指定个训练图像样本及其实际姿态信息执行递归, 获取使所述损失函数的输 出值最小时的映射函数作为姿态分类器。 3. 根据权利要求 2 所述的方法, 其特征在于, 所述损失函数为实际姿态信息和估计姿 态信息的位置差异。 4. 根据权利要求 2 所述的方法, 其特征在于, 所述损失函数为实际姿态信息和估计姿 态信息的位置差异和方向差异。 5. 一种利用权利要求 1-4 任一项方法生成的姿态分类器训练物体。
5、分类器的方法, 其特 征在于, 所述物体为具有关节的物体, 所述方法包括 : 获取第二训练图像样本集 ; 根据所述姿态分类器对所述第二训练图像样本集中指定个训练图像样本进行姿态估 计处理 ; 对所述姿态估计处理后的训练图像样本执行训练, 生成物体分类器。 6. 根据权利要求 5 所述的方法, 其特征在于, 所述根据所述姿态分类器对所述第二训 练图像样本集中指定个训练图像样本进行姿态估计处理包括 : 根据所述姿态分类器对所述第二训练图像样本集中指定个训练图像样本进行姿态估 计, 得到所述指定个训练图像样本的估计姿态信息 ; 根据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造多个训练。
6、 物体包围框, 对所述多个训练物体包围框进行归一化处理, 使不同物体的同一部分的训练 物体包围框的大小和方向一致 ; 所述对所述姿态估计处理后的训练图像样本执行训练包括 : 对所述归一化处理后的训练图像样本执行训练。 7. 根据权利要求 6 所述的方法, 其特征在于, 所述得到所述指定个训练图像样本的估 计姿态信息之后, 进一步包括 : 显示所述指定个训练图像样本的估计姿态信息。 8. 根据权利要求 6 所述的方法, 其特征在于, 所述对所述多个训练物体包围框进行归 一化处理之后, 进一步包括 : 显示所述归一化处理后的多个训练物体包围框。 权 利 要 求 书 CN 103324938 A 2。
7、 2/6 页 3 9. 根据权利要求 5-8 任一项所述的方法, 其特征在于, 所述估计姿态信息具体为训练 物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 所述根据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造多个 物体包围框, 对所述多个物体包围框进行归一化处理包括 : 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为中轴 线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点和右 脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3。
8、 个物体包围框进行旋转 和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框内。 10. 根据权利要求 5-8 任一项所述的方法, 其特征在于, 所述估计姿态信息具体为训练 物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚中心 位置点和右脚中心位置点 ; 所述根据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造多个 物体包围框, 对所述多个物体包围框进行归一化处理包括 : 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为中轴 线、 以腰部中心位置点和左膝盖中心位。
9、置点所在的直线为中轴线、 以腰部中心位置点和右 膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为 中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 5 个物体包围 框, 对所述 5 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所 述物体包围框内。 11.一种利用权利要求1-4任一项方法生成的姿态分类器及权利要求5-10任一项方法 生成的物体分类器进行物体检测的方法, 其特征在于, 所述物体为具有关节的物体, 所述方 法包括 : 获取输入图像样本 ; 根据所述姿态分类器对所述输入图像样本进行姿态估计处理 ; 根据所述物。
10、体分类器对所述处理后的输入图像样本进行物体检测, 获取物体的位置信 息。 12. 根据权利要求 11 所述的方法, 其特征在于, 所述根据所述姿态分类器对所述输入 图像样本进行姿态估计处理包括 : 根据所述姿态分类器对所述输入图像样本进行姿态估计, 得到所述输入图像样本的估 计姿态信息 ; 根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多个物体包围框, 对所述多个物体包围框进行归一化处理, 使不同物体的同一部分的物体包围框的大小和方 向一致 ; 相应的, 所述根据所述物体分类器对所述处理后的输入图像样本进行物体检测包括 : 根据所述物体分类器对所述归一化处理后的输入图像样本进行物体。
11、检测。 13. 根据权利要求 12 所述的方法, 其特征在于, 所述得到所述输入图像样本的估计姿 态信息之后, 进一步包括 : 权 利 要 求 书 CN 103324938 A 3 3/6 页 4 将所述输入图像样本的估计姿态信息进行显示。 14. 根据权利要求 12 所述的方法, 其特征在于, 所述对所述多个物体包围框进行归一 化处理之后, 进一步包括 : 将所述归一化处理后的多个物体包围框进行显示。 15. 根据权利要求 12-14 任一项所述的方法, 其特征在于, 所述估计姿态信息具体为物 体结构特征点的位置信息, 所述物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左脚中心。
12、位置点和右脚中心位置点 ; 所述根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多个物体包 围框, 对所述多个物体包围框进行归一化处理包括 : 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为中轴 线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点和右 脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3 个物体包围框进行旋转 和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框内。 16. 根据权利要求 12-14 任一项所述的方法, 其特征在于, 所述估计姿态信息具体为物 体结构特征点的位置信息, 所述物。
13、体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚中心 位置点和右脚中心位置点 ; 所述根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多个物体包 围框, 对所述多个物体包围框进行归一化处理包括 : 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为中轴 线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和右 膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为 中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 5 个物体包围 框, 对所。
14、述 5 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所 述物体包围框内。 17. 一种训练姿态分类器的装置, 其特征在于, 包括 : 第一获取模块, 用于获取第一训练图像样本集 ; 第二获取模块, 用于获取所述第一训练图像样本集中指定个训练图像样本的实际姿态 信息 ; 第一训练生成模块, 用于根据所述指定个训练图像样本及其实际姿态信息执行递归训 练过程, 生成姿态分类器。 18. 根据权利要求 17 所述的装置, 其特征在于, 所述第一训练生成模块包括 : 第一构造单元, 用于构造损失函数, 其中所述损失函数的输入为所述指定个训练图像 样本及其实际姿态信息, 所述损失函。
15、数的输出为所述指定个训练图像样本的实际姿态信息 和估计姿态信息之间的差异值 ; 第二构造单元, 用于构造映射函数, 其中所述映射函数的输入为所述指定个训练图像 样本, 所述映射函数的输出为所述指定个训练图像样本的估计姿态信息 ; 姿态分类器获取单元, 用于根据所述指定个训练图像样本及其实际姿态信息执行递 归, 获取使所述损失函数的输出值最小时的映射函数作为姿态分类器。 权 利 要 求 书 CN 103324938 A 4 4/6 页 5 19. 根据权利要求 18 所述的装置, 其特征在于, 所述损失函数为实际姿态信息和估计 姿态信息的位置差异。 20. 根据权利要求 18 所述的装置, 其特。
16、征在于, 所述损失函数为实际姿态信息和估计 姿态信息的位置差异和方向差异。 21. 一种利用权利要求 17-20 任一项装置生成的姿态分类器训练物体分类器的装置, 其特征在于, 所述物体为具有关节的物体, 所述装置包括 : 第三获取模块, 用于获取第二训练图像样本集 ; 第一姿态估计模块, 用于根据所述姿态分类器对所述第二训练图像样本集中指定个训 练图像样本进行姿态估计处理 ; 第二训练生成模块, 用于对所述姿态估计处理后的训练图像样本执行训练, 生成物体 分类器。 22. 根据权利要求 21 所述的装置, 其特征在于, 所述第一姿态估计模块包括 : 第一姿态估计单元, 用于根据所述姿态分类器。
17、对所述第二训练图像样本集中指定个训 练图像样本进行姿态估计, 得到所述指定个训练图像样本的估计姿态信息 ; 第一构造处理单元, 用于根据所述指定个训练图像样本的估计姿态信息对每个具有关 节的物体构造多个训练物体包围框, 对所述多个训练物体包围框进行归一化处理, 使不同 物体的同一部分的训练物体包围框的大小和方向一致 ; 所述第二训练生成模块包括 : 训练单元, 用于对所述归一化处理后的训练图像样本执行训练。 23. 根据权利要求 22 所述的装置, 其特征在于, 进一步包括 : 第一图形用户界面, 用于在所述得到所述指定个训练图像样本的估计姿态信息之后, 显示所述指定个训练图像样本的估计姿态信。
18、息。 24. 根据权利要求 22 所述的装置, 其特征在于, 进一步包括 : 第二图像用户界面, 用于在所述对所述多个训练物体包围框进行归一化处理之后, 显 示所述归一化处理后的多个训练物体包围框。 25. 根据权利要求 22-24 任一项所述的装置, 其特征在于, 所述估计姿态信息具体为训 练物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 所述第一构造处理单元包括 : 第一构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心位置 点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直。
19、线为中轴线, 和, 以 腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3 个 物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框 内。 26. 根据权利要求 22-24 任一项所述的装置, 其特征在于, 所述估计姿态信息具体为训 练物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚中心 位置点和右脚中心位置点 ; 所述第一构造处理单元包括 : 权 利 要 求 书 CN 103324938 A 5 5/6 页 6 第二构造子单元, 用于对每个。
20、具有关节的物体分别以头部中心位置点和腰部中心位置 点所在的直线为中轴线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴线、 以 腰部中心位置点和右膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心 位置点所在的直线为中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴 线构造5个物体包围框, 对所述5个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特 征点位于对应的所述物体包围框内。 27. 一种利用权利要求 17-20 任一项装置生成的姿态分类器及权利要求 21-26 任一项 装置生成的物体分类器进行物体检测的装置, 其特征在于, 所述物体为具有关节的物体,。
21、 所 述装置包括 : 第四获取模块, 用于获取输入图像样本 ; 第二姿态估计模块, 用于根据所述姿态分类器对所述输入图像样本进行姿态估计处 理 ; 检测模块, 用于根据所述物体分类器对所述处理后的输入图像样本进行物体检测, 获 取物体的位置信息。 28. 根据权利要求 27 所述的装置, 其特征在于, 所述第二姿态估计模块包括 : 第二姿态估计单元, 用于根据所述姿态分类器对所述输入图像样本进行姿态估计, 得 到所述输入图像样本的估计姿态信息 ; 第二构造处理单元, 用于根据所述输入图像样本的估计姿态信息对每个具有关节的物 体构造多个物体包围框, 对所述多个物体包围框进行归一化处理, 使不同物。
22、体的同一部分 的训练物体包围框的大小和方向一致 ; 所述检测模块包括 : 检测单元, 用于根据所述物体分类器对所述归一化处理后的输入图像样本进行物体检 测。 29. 根据权利要求 28 所述的装置, 其特征在于, 进一步包括 : 第三图形用户界面, 用于在所述得到所述输入图像样本的估计姿态信息之后, 将所述 输入图像样本的估计姿态信息进行显示。 30. 根据权利要求 28 所述的装置, 其特征在于, 进一步包括 : 第四图形用户界面, 用于在所述对所述多个物体包围框进行归一化处理之后, 将所述 归一化处理后的多个物体包围框进行显示。 31. 根据权利要求 28-30 任一项所述的装置, 其特征。
23、在于, 所述估计姿态信息具体为物 体结构特征点的位置信息, 所述物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 所述第二构造处理单元包括 : 第三构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心位置 点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以 腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3 个 物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框 内。 32. 根据权利要求 28-30 任一项所述的装置, 其特征在于,。
24、 所述估计姿态信息具体为物 权 利 要 求 书 CN 103324938 A 6 6/6 页 7 体结构特征点的位置信息, 所述物体结构特征点包括 : 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚中心 位置点和右脚中心位置点 ; 所述第二构造处理单元包括 : 第四构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心位置 点所在的直线为中轴线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴线、 以 腰部中心位置点和右膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心 位置点所在的直线为中轴线, 和, 以腰部中心位置点和右脚中心。
25、位置点所在的直线为中轴 线构造5个物体包围框, 对所述5个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特 征点位于对应的所述物体包围框内。 权 利 要 求 书 CN 103324938 A 7 1/20 页 8 训练姿态分类器及物体分类器、 物体检测的方法及装置 技术领域 0001 本发明涉及图像处理领域, 特别涉及一种训练姿态分类器及物体分类器、 物体检 测的方法及装置。 背景技术 0002 随着电子信息技术的进步和网络化的普及, 人们在日常生活中越来越普遍地通过 各种各样的图像采集设备, 例如监控摄像机、 数码摄像机、 网络摄像机、 数码相机、 手机相机 以及物联网中的视频传感器等来。
26、获取大量的图像和视频数据。 面对如此大量的图像和视频 数据, 如何快速而智能地分析这些数据成为人们的迫切需求。 0003 人体检测技术就是智能地分析这些数据的一个技术途径, 如图 1 所示, 对于一幅 输入图像而言, 人体检测的过程就是在图像中检测人体的存在, 并且定位出人体的位置, 将 所述人体的位置作为检测结果输出。 0004 现有的人体检测方法主要分为三类 : 0005 第一类是基于局部特征抽取的方法, 该类方法在训练图片的子区域上计算特征, 并且将不同子区域的特征按照某种方式排列组合起来作为人体的特征, 根据这些人体的特 征训练分类器。 在检测的过程中, 检测并计算输入图片的相应的子区。
27、域的特征, 分类器对该 计算出来的特征进行分类, 实现人体的检测。 0006 第二类是基于兴趣点的方法, 该类方法首先在训练图片集上计算兴趣点, 然后将 以该点为中心的一定大小的块抽取出来, 所有被抽取的块进行聚类操作生成词典。在检测 的过程中, 计算输入图像中相同的兴趣点, 并且抽取块, 然后在词典中查找相似的块, 最后 根据词典中的块投票决定输入图像中人体的位置, 实现人体检测。 0007 第三类是基于模板匹配的方法, 该类方法要预先准备人体轮廓的模板。在检测的 过程中, 计算输入图像的边缘分布图像, 在该边缘分布图像中搜索与人体轮廓最相似的区 域, 实现人体检测。 0008 在实现本发明。
28、的过程中, 发明人发现现有技术至少存在以下问题 : 虽然上述三类 人体检测方法可以在一定程度上实现人体的检测, 但是上述三类人体检测方法一般都是假 设人体处于直立行走的状态, 忽略了人体作为柔性物体的姿态变化, 因此当人体的姿态变 化时, 现有的人体检测方法很难将人体和背景区域区分, 从而降低了人体的检测率。 发明内容 0009 为了提高物体的检测率, 本发明实施例提供了一种训练姿态分类器及物体分类 器、 物体检测的方法及装置。所述技术方案如下 : 0010 一方面, 本发明实施例提供了一种训练姿态分类器的方法, 包括 : 0011 获取第一训练图像样本集 ; 0012 获取所述第一训练图像样。
29、本集中指定个训练图像样本的实际姿态信息 ; 0013 根据所述指定个训练图像样本及其实际姿态信息执行递归训练过程, 生成姿态分 说 明 书 CN 103324938 A 8 2/20 页 9 类器。 0014 在一种实施方式中, 所述根据所述指定个训练图像样本及其实际姿态信息执行递 归训练过程, 生成姿态分类器包括 : 0015 构造损失函数, 其中所述损失函数的输入为所述指定个训练图像样本及其实际姿 态信息, 所述损失函数的输出为所述指定个训练图像样本的实际姿态信息和估计姿态信息 之间的差异值 ; 0016 构造映射函数, 其中所述映射函数的输入为所述指定个训练图像样本, 所述映射 函数的输。
30、出为所述指定个训练图像样本的估计姿态信息 ; 0017 根据所述指定个训练图像样本及其实际姿态信息执行递归, 获取使所述损失函数 的输出值最小时的映射函数作为姿态分类器。 0018 其中, 优选的, 所述损失函数为实际姿态信息和估计姿态信息的位置差异。 0019 其中, 优选的, 所述损失函数为实际姿态信息和估计姿态信息的位置差异和方向 差异。 0020 另一方面, 本发明实施例提供了一种利用上述方法生成的姿态分类器训练物体分 类器的方法, 所述物体为具有关节的物体, 所述方法包括 : 0021 获取第二训练图像样本集 ; 0022 根据所述姿态分类器对所述第二训练图像样本集中指定个训练图像样。
31、本进行姿 态估计处理 ; 0023 对所述姿态估计处理后的训练图像样本执行训练, 生成物体分类器。 0024 在一种实施方式中, 所述根据所述姿态分类器对所述第二训练图像样本集中指定 个训练图像样本进行姿态估计处理包括 : 0025 根据所述姿态分类器对所述第二训练图像样本集中指定个训练图像样本进行姿 态估计, 得到所述指定个训练图像样本的估计姿态信息 ; 0026 根据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造多个 训练物体包围框, 对所述多个训练物体包围框进行归一化处理, 使不同物体的同一部分的 训练物体包围框的大小和方向一致 ; 0027 所述对所述姿态估计处理后的训练。
32、图像样本执行训练包括 : 0028 对所述归一化处理后的训练图像样本执行训练。 0029 在另一实施方式中, 所述得到所述指定个训练图像样本的估计姿态信息之后, 进 一步包括 : 0030 显示所述指定个训练图像样本的估计姿态信息。 0031 再一种实施方式中, 所述对所述多个训练物体包围框进行归一化处理之后, 进一 步包括 : 0032 显示所述归一化处理后的多个训练物体包围框。 0033 再一种实施方式中, 所述估计姿态信息具体为训练物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 0034 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 0035 所述根。
33、据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造 多个物体包围框, 对所述多个物体包围框进行归一化处理包括 : 说 明 书 CN 103324938 A 9 3/20 页 10 0036 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为 中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点 和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3 个物体包围框进行 旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框内。 0037 再一种实施方式中, 所述估计姿态信息具体为训练物体结构特征点的位置信。
34、息, 所述训练物体结构特征点包括 : 0038 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚 中心位置点和右脚中心位置点 ; 0039 所述根据所述指定个训练图像样本的估计姿态信息对每个具有关节的物体构造 多个物体包围框, 对所述多个物体包围框进行归一化处理包括 : 0040 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为 中轴线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点 和右膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直 线为中轴线, 和, 以腰部中心位置点和右脚中心位置。
35、点所在的直线为中轴线构造 5 个物体 包围框, 对所述 5 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应 的所述物体包围框内。 0041 另一方面, 本发明实施例提供了一种利用上述方法生成的姿态分类器及上述方法 生成的物体分类器进行物体检测的方法, 所述物体为具有关节的物体, 所述方法包括 : 0042 获取输入图像样本 ; 0043 根据所述姿态分类器对所述输入图像样本进行姿态估计处理 ; 0044 根据所述物体分类器对所述处理后的输入图像样本进行物体检测, 获取物体的位 置信息。 0045 在一种实施方式中, 所述根据所述姿态分类器对所述输入图像样本进行姿态估计 处理。
36、包括 : 0046 根据所述姿态分类器对所述输入图像样本进行姿态估计, 得到所述输入图像样本 的估计姿态信息 ; 0047 根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多个物体包 围框, 对所述多个物体包围框进行归一化处理, 使不同物体的同一部分的训练物体包围框 的大小和方向一致 ; 0048 相应的, 所述根据所述物体分类器对所述处理后的输入图像样本进行物体检测包 括 : 0049 根据所述物体分类器对所述归一化处理后的输入图像样本进行物体检测。 0050 在另一实施方式中, 所述得到所述输入图像样本的估计姿态信息之后, 进一步包 括 : 0051 将所述输入图像样本的估计姿态。
37、信息进行显示。 0052 再一种实施方式中, 所述对所述多个物体包围框进行归一化处理之后, 进一步包 括 : 0053 将所述归一化处理后的多个物体包围框进行显示。 0054 再一种实施方式中, 所述估计姿态信息具体为物体结构特征点的位置信息, 所述 说 明 书 CN 103324938 A 10 4/20 页 11 物体结构特征点包括 : 0055 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 0056 所述根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多个物 体包围框, 对所述多个物体包围框进行归一化处理包括 : 0057 对每个具有关节的物体分别以头。
38、部中心位置点和腰部中心位置点所在的直线为 中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点 和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所述 3 个物体包围框进行 旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包围框内。 0058 再一种实施方式中, 所述估计姿态信息具体为物体结构特征点的位置信息, 所述 物体结构特征点包括 : 0059 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚 中心位置点和右脚中心位置点 ; 0060 所述根据所述输入图像样本的估计姿态信息对每个具有关节的物体构造多。
39、个物 体包围框, 对所述多个物体包围框进行归一化处理包括 : 0061 对每个具有关节的物体分别以头部中心位置点和腰部中心位置点所在的直线为 中轴线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点 和右膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直 线为中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 5 个物体 包围框, 对所述 5 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应 的所述物体包围框内。 0062 另一方面, 本发明实施例提供了一种训练姿态分类器的装置, 包括 : 0063 第一。
40、获取模块, 用于获取第一训练图像样本集 ; 0064 第二获取模块, 用于获取所述第一训练图像样本集中指定个训练图像样本的实际 姿态信息 ; 0065 第一训练生成模块, 用于根据所述指定个训练图像样本及其实际姿态信息执行递 归训练过程, 生成姿态分类器。 0066 在一种实施方式中, 所述第一训练生成模块包括 : 0067 第一构造单元, 用于构造损失函数, 其中所述损失函数的输入为所述指定个训练 图像样本及其实际姿态信息, 所述损失函数的输出为所述指定个训练图像样本的实际姿态 信息和估计姿态信息之间的差异值 ; 0068 第二构造单元, 用于构造映射函数, 其中所述映射函数的输入为所述指定。
41、个训练 图像样本, 所述映射函数的输出为所述指定个训练图像样本的估计姿态信息 ; 0069 姿态分类器获取单元, 用于根据所述指定个训练图像样本及其实际姿态信息执行 递归, 获取使所述损失函数的输出值最小时的映射函数作为姿态分类器。 0070 其中, 优选的, 所述损失函数为实际姿态信息和估计姿态信息的位置差异。 0071 其中, 优选的, 所述损失函数为实际姿态信息和估计姿态信息的位置差异和方向 差异。 0072 另一方面, 本发明实施例提供了一种利用上述装置生成的姿态分类器训练物体分 类器的装置, 所述物体为具有关节的物体, 所述装置包括 : 说 明 书 CN 103324938 A 11。
42、 5/20 页 12 0073 第三获取模块, 用于获取第二训练图像样本集 ; 0074 第一姿态估计模块, 用于根据所述姿态分类器对所述第二训练图像样本集中指定 个训练图像样本进行姿态估计处理 ; 0075 第二训练生成模块, 用于对所述姿态估计处理后的训练图像样本执行训练, 生成 物体分类器。 0076 在一种实施方式中, 所述第一姿态估计模块包括 : 0077 第一姿态估计单元, 用于根据所述姿态分类器对所述第二训练图像样本集中指定 个训练图像样本进行姿态估计, 得到所述指定个训练图像样本的估计姿态信息 ; 0078 第一构造处理单元, 用于根据所述指定个训练图像样本的估计姿态信息对每个。
43、具 有关节的物体构造多个训练物体包围框, 对所述多个训练物体包围框进行归一化处理, 使 不同物体的同一部分的训练物体包围框的大小和方向一致 ; 0079 所述第二训练生成模块包括 : 0080 训练单元, 用于对所述归一化处理后的训练图像样本执行训练。 0081 在另一种实施方式中, 所述装置进一步包括 : 0082 第一图形用户界面, 用于在所述得到所述指定个训练图像样本的估计姿态信息之 后, 显示所述指定个训练图像样本的估计姿态信息。 0083 再一种实施方式中, 所述装置进一步包括 : 0084 第二图像用户界面, 用于在所述对所述多个训练物体包围框进行归一化处理之 后, 显示所述归一化。
44、处理后的多个训练物体包围框。 0085 再一种实施方式中, 所述估计姿态信息具体为训练物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 0086 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 0087 所述第一构造处理单元包括 : 0088 第一构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心 位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所 述 3 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所。
45、述物体包 围框内。 0089 再一种实施方式中, 所述估计姿态信息具体为训练物体结构特征点的位置信息, 所述训练物体结构特征点包括 : 0090 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚 中心位置点和右脚中心位置点 ; 0091 所述第一构造处理单元包括 : 0092 第二构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心 位置点所在的直线为中轴线、 以腰部中心位置点和左膝盖中心位置点所在的直线为中轴 线、 以腰部中心位置点和右膝盖中心位置点所在的直线为中轴线、 以腰部中心位置点和左 脚中心位置点所在的直线为中轴线, 和, 以腰部中心位。
46、置点和右脚中心位置点所在的直线 为中轴线构造5个物体包围框, 对所述5个物体包围框进行旋转和缩放处理 ; 其中所述物体 结构特征点位于对应的所述物体包围框内。 说 明 书 CN 103324938 A 12 6/20 页 13 0093 另一方面, 本发明实施例提供了一种利用上述装置生成的姿态分类器及上述装置 生成的物体分类器进行物体检测的装置, 所述物体为具有关节的物体, 所述装置包括 : 0094 第四获取模块, 用于获取输入图像样本 ; 0095 第二姿态估计模块, 用于根据所述姿态分类器对所述输入图像样本进行姿态估计 处理 ; 0096 检测模块, 用于根据所述物体分类器对所述处理后的。
47、输入图像样本进行物体检 测, 获取物体的位置信息。 0097 在一种实施方式中, 所述第二姿态估计模块包括 : 0098 第二姿态估计单元, 用于根据所述姿态分类器对所述输入图像样本进行姿态估 计, 得到所述输入图像样本的估计姿态信息 ; 0099 第二构造处理单元, 用于根据所述输入图像样本的估计姿态信息对每个具有关节 的物体构造多个物体包围框, 对所述多个物体包围框进行归一化处理, 使不同物体的同一 部分的训练物体包围框的大小和方向一致 ; 0100 所述检测模块包括 : 0101 检测单元, 用于根据所述物体分类器对所述归一化处理后的输入图像样本进行物 体检测。 0102 在另一实施方式。
48、中, 所述装置进一步包括 : 0103 第三图形用户界面, 用于在所述得到所述输入图像样本的估计姿态信息之后, 将 所述输入图像样本的估计姿态信息进行显示。 0104 再一种实施方式中, 所述装置进一步包括 : 0105 第四图形用户界面, 用于在所述对所述多个物体包围框进行归一化处理之后, 将 所述归一化处理后的多个物体包围框进行显示。 0106 再一种实施方式中, 所述估计姿态信息具体为物体结构特征点的位置信息, 所述 物体结构特征点包括 : 0107 头部中心位置点、 腰部中心位置点、 左脚中心位置点和右脚中心位置点 ; 0108 所述第二构造处理单元包括 : 0109 第三构造子单元,。
49、 用于对每个具有关节的物体分别以头部中心位置点和腰部中心 位置点所在的直线为中轴线、 以腰部中心位置点和左脚中心位置点所在的直线为中轴线, 和, 以腰部中心位置点和右脚中心位置点所在的直线为中轴线构造 3 个物体包围框, 对所 述 3 个物体包围框进行旋转和缩放处理 ; 其中所述物体结构特征点位于对应的所述物体包 围框内。 0110 再一种实施方式中, 所述估计姿态信息具体为物体结构特征点的位置信息, 所述 物体结构特征点包括 : 0111 头部中心位置点、 腰部中心位置点、 左膝盖中心位置点、 右膝盖中心位置点、 左脚 中心位置点和右脚中心位置点 ; 0112 所述第二构造处理单元包括 : 0113 第四构造子单元, 用于对每个具有关节的物体分别以头部中心位置点和腰部中心 位置点所在的直线为中轴线、 以腰部中心位置点和左膝盖中心位置点所。