《根据包装的商品产品图像自动生成3D模型.pdf》由会员分享，可在线阅读，更多相关《根据包装的商品产品图像自动生成3D模型.pdf（26页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102236910 A (43)申请公布日 2011.11.09 CN 102236910 A *CN102236910A* (21)申请号 201110101031.2 (22)申请日 2011.04.20 12/763,307 2010.04.20 US G06T 17/00(2006.01) G06Q 30/00(2006.01) (71)申请人 达索系统公司 地址 法国韦利济 - 维拉库布莱 (72)发明人 RM霍尔斯特德 (74)专利代理机构 永新专利商标代理有限公司 72002 代理人 刘瑜 王英 (54) 发明名称 根据包装的商品产品图像自动生成 3D 。
2、模型 (57) 摘要 一种计算机实现的 3D 建模方法和装置访问 消费商品产品的产品数据。该产品数据包括主题 消费商品产品的 2D 图像数据和主题消费商品产 品的形状信息。提取器从产品数据提取包括主题 消费商品产品的 3D 形状类别的形状信息， 并且得 到详细的 3D 形状图。该详细的 3D 形状图表示主 题消费商品产品的正视地正确3D轮廓形状。 根据 确定的3D形状类别， 网格生成器从详细的3D形状 图生成主题消费商品产品的3D网格。 图像映射器 将图像投影到 3D 网格上， 所述图像是主题消费商 品产品的图像并且来自于2D图像数据。 主题消费 商品产品的 3D 模型产生并且被配置以用于在网。
3、 页上和其他用户交互环境中交互显示。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 11 页 附图 11 页 CN 102236914 A1/3 页 2 1. 一种计算机实现的 3D 建模方法， 包括 ： 访问主题消费商品产品的产品数据， 所述产品数据包括所述主题消费商品产品的 2D 图像数据和所述主题消费商品产品的形状信息 ； 从所述产品数据中提取所述形状信息， 所述提取包括获取所述消费商品产品的 2D 轮 廓形状和所述主题消费商品产品的 3D 形状类别 ； 使用所获取的 2D 轮廓形状和 3D 形状类别，。
4、 生成详细的 3D 形状图， 所述详细的 3D 形状 图至少从前部和后部视点表示所述主题的正视地正确轮廓形状 ； 根据所获取的 3D 形状类别， 从所述详细的 3D 形状图生成所述主题消费商品产品的 3D 网格 ； 以及 根据所述 2D 图像数据在所述主题消费商品产品的所述 3D 网格图像上进行投影， 所述 投影形成所述主题消费商品产品的 3D 模型， 所形成的 3D 模型被配置以用于输出显示。 2. 根据权利要求 1 所述的方法， 其中所述形状信息包括所述主题消费商品产品的宽 度、 高度和深度测量， 并且包括所述主题消费商品产品的 3D 形状类别的指示。 3. 根据权利要求 1 所述的方法，。
5、 其中生成所述主题消费商品产品的 3D 网格的步骤包 括 ： 确定所述详细的 3D 形状图的一系列的横截面区， 每一个横截面区具有相对于所述主 题消费商品产品的纵轴的各自的横截面， 其中给定横截面区的横截面与以下不同 ： (i) 系 列次序中的直接后继横截面区的各自的横截面以及 (ii) 系列次序中的直接在前横截面区 的各自的横截面， 以使得横截面从一个横截面区到系列次序中的下一个横截面区而改变 ； 以及 使用所述一系列的横截面区， 定义所述主题消费商品产品的所述 3D 网格。 4.根据权利要求3所述的方法， 其中定义所述主题消费商品产品的所述3D网格的步骤 还包括确定所述主题消费商品产品沿着。
6、所述纵轴的深度剖面。 5. 根据权利要求 4 所述的方法， 其中确定深度剖面的步骤使用形状生成。 6.根据权利要求3所述的方法， 其中确定所述详细的3D形状图的一系列的横截面区的 步骤包括曲线拟合。 7. 根据权利要求 3 所述的方法， 其中生成网格的步骤包括将所述详细的 3D 形状图、 所 确定的一系列的横截面区以及所述主题消费商品产品的所确定的 3D 形状类别的深度剖面 进行组合。 8. 根据权利要求 3 所述的方法， 其中生成网格的步骤包括将所述详细的 3D 形状图、 所 确定的一系列的横截面区以及所述主题消费商品产品的深度剖面进行组合。 9. 根据权利要求 1 所述的方法， 其中投影步。
7、骤使用平面投影来将所述主题消费商品产 品的2D图像投影到所生成的网格上， 并且由此形成所述主题消费商品产品的所述3D模型。 10. 根据权利要求 1 所述的方法， 其中所述主题消费商品产品是包装的商品。 11. 根据权利要求 10 所述的方法， 其中所述包装的商品具有任意一种类型或类型组合 的容器， 所述类型包括 ： 一般地柱状瓶， 具有泵动式配送端的一般柱状瓶， 一般地管状配送管， 权 利 要 求 书 CN 102236910 A CN 102236914 A2/3 页 3 实际地盒状纸箱， 一般地枕头状的袋或囊， 以及 具有平端的一般地类似袋的容器或囊。 12. 一种基于计算机的 3D 建。
8、模装置， 包括 ： 主题消费商品产品的产品数据的源， 所述产品数据包括所述主题消费商品产品的 2D 图像数据和所述主题消费商品产品的形状信息 ； 提取器， 其访问所述源并且从所述产品数据中提取所述形状信息， 所述提取器获取所 述消费商品产品的 2D 轮廓形状和所述主题消费商品产品的 3D 形状类别 ； 使用所获取的 2D 轮廓形状和 3D 形状类别， 生成详细的 3D 形状图， 所述详细的 3D 形状 图至少从前部和后部视点表示所述主题消费商品产品的正视地正确轮廓形状 ； 网格生成器， 其耦合来接收所述详细的 3D 形状图， 并且根据所获取的 3D 形状类别， 所 述网格生成器从所述详细的 3。
9、D 形状图生成所述主题消费商品产品的 3D 网格 ； 以及 建模器， 其根据所述 2D 图像数据在所述主题消费商品产品的所述 3D 网格图像上进行 投影， 所述投影形成所述主题消费商品产品的3D模型， 所形成的3D模型被配置以用于输出 显示。 13. 根据权利要求 12 所述的装置， 其中所述形状信息包括所述主题消费商品产品的宽 度、 高度和深度测量， 并且包括所述主题消费商品产品的 3D 形状类别的指示。 14. 根据权利要求 12 所述的装置， 其中所述网格生成器通过以下步骤生成所述主题消 费商品产品的所述 3D 网格 ： 确定所述详细的 3D 形状图的一系列的横截面区， 每一个横截面区具。
10、有相对于所述主 题消费商品产品的纵轴的各自的横截面， 其中给定横截面区的横截面与以下不同 ： (i) 系 列次序中的直接后继横截面区的各自的横截面以及 (ii) 系列次序中的直接在前横截面区 的各自的横截面， 以使得横截面从一个横截面区到系列次序中的下一个横截面区而改变 ； 以及 使用所述一系列的横截面区， 定义所述主题消费商品产品的所述 3D 网格。 15. 根据权利要求 14 所述的装置， 其中所述网格生成器定义所述主题消费商品产品的 所述 3D 网格还包括确定所述主题消费商品产品沿着所述纵轴的深度剖面。 16. 根据权利要求 15 所述的装置， 其中确定深度剖面使用形状生成。 17.根据。
11、权利要求14所述的装置， 其中确定所述详细的3D形状图的一系列的横截面区 包括曲线拟合。 18. 根据权利要求 14 所述的装置， 其中所述网格生成器将所述详细的 3D 形状图、 所确 定的一系列的横截面区以及所述主题消费商品产品的所确定的 3D 形状类别的深度剖面进 行组合。 19. 根据权利要求 14 所述的装置， 其中所述网格生成器将所述详细的 3D 形状图、 所确 定的一系列的横截面区以及所述主题消费商品产品的深度剖面进行组合。 20. 根据权利要求 12 所述的装置， 其中所述建模器使用平面投影来将所述主题消费商 品产品的 2D 图像投影到所生成的网格上， 并且由此形成所述主题消费商。
12、品产品的所述 3D 模型。 21. 根据权利要求 12 所述的装置， 其中所述主题消费商品产品是包装的商品。 权 利 要 求 书 CN 102236910 A CN 102236914 A3/3 页 4 22. 根据权利要求 21 所述的装置， 其中所述包装的商品具有任意一种类型或类型组合 的容器， 所述类型包括 ： 一般地柱状瓶， 具有泵动式配送端的一般柱状瓶， 一般地管状配送管， 实际地盒状纸箱， 一般地枕头状的袋、 包或囊， 以及 具有平端的一般地类似袋的容器、 包或囊。 权 利 要 求 书 CN 102236910 A CN 102236914 A1/11 页 5 根据包装的商品产品图。
13、像自动生成 3D 模型 背景技术 0001 本发明的技术领域涉及用于3D交互体验和3D交互仿真的可伸缩内容创建， 其中， 所述 3D 交互体验和 3D 交互仿真包括但不限于 ： 视频游戏和在线购物 / 浏览。 0002 计算机 3D 建模技术被用来为交互显示、 商店内部的 3D 仿真构建 3D 包装的商品。 具体而言， 3D 建模被用来实现浏览产品、 产品商店 / 货架环境的终端用户体验和 “挑出” 产 品来浏览以及在线阅读产品包装文本的体验。 0003 在构建包装的商品的 3D 模型以在商店内显示的应用中， 使用了两种策略来构建 货架 ( 包装商品 )3D 模型内容。 0004 第一种策略使。
14、用 或其他通用建模应用， 根 据照片和产品测量信息， 使用手工创建 3D 模型。尽管可以计划和组织用于系统地产生较 大数量模型的工作流， 但是工作的单元仍然是基于形状的手工建模和纹理映射 (texture map) 的手工创建。 0005 第二种策略使用通用基于照片的 3D 建模应用。存在用于解决从物理对象创建 3D 模型的一般问题的各种可商业获得的软件和方法。该软件的一个例子是 “Strata Foto 3D” ， 其 “允许人使用标准数字相机来将真实世界对象获取为完全纹理化的 3D 模型” 。见可 在 获取的产品信 息。产品 ( 包装的商品 ) 的通用照片建模良好地用于产生少量的产品模型。
15、。该技术的主要 局限是根据多张照片创建的 3D 模型需要大量的人工劳动来纠正缺陷和重新调整几何图形 以用于在线 3D 应用。 0006 已有解决方案的局限是要基于一定量的手工 ( 熟练 3D 美工 ) 工作， 这些工作是处 理 3D 模型以用于计算机应用所需的。因为 ( 在复杂的、 通用 3D 建模应用中 ) 每一个模型 必须部分地或完全地通过手工来创建， 所以基于该处理的任何建模工作流是不可伸缩的。 0007 使用基于 3D 模型的照片建模系统所观察到的另一个问题是几何网格 的不规则 性。不规则的网格使得模型的下游尺寸调整 / 处理变得更加困难， 并且会将工作流限制到 将来对模型内容的手工编。
16、辑和手工调整的循环中。 0008 现有技术的缺点是依赖于内容产生过程中对模型的下游编辑。 这成为问题的原因 是 ： A) 输入数据是随着新图像而不断地被更新的， 以及 B) 输出规范可能由于在线购物者体 验应用中的新的要求 / 改进而改变。 0009 依赖手工编辑会将内容产生限制到持续手工编辑的循环中。当需要很大的改变 时， 旧的输出被抛弃并且必须第二 ( 或第三或第 N) 次产生内容创建的全部成本。 发明内容 0010 本发明要解决现有技术的上述问题。 具体地说， 本发明提供自动过程， 来生成适合 在线可视化要求、 交互 3D 体验应用 ( 像交互 3D 购物体验、 交互 3D 视频游戏等 。
17、) 的包装商 品的 3D 模型。 0011 本发明通过理解能够根据几何图元 ( 像柱体或盒 ) 对大部分产品包装进行建模 说 明 书 CN 102236910 A CN 102236914 A2/11 页 6 而解决本主题的问题， 其中几何图元可以变形以根据如标准化产品照片所获取的产品前视 图、 侧视图和俯视图来获取产品的精确的 3D 形状 ( 或对象轮廓 )。 0012 在一个实施例中， 申请人利用已有的高分辨率包装商品产品图像的大型库， 所述 大型库用于支持 2D 可视货架图制定 (planogramming) 行业。在制定货架图时， 根据编码在 商店货架 “货架图” 中的标准化货架布局信。
18、息来创建商店货架布局的 2D 表示。 0013 这意味着存在链接到包括精确产品尺寸测量的数据库的视点 “校准的” 产品照片 的大型库。在该实施例中， 本发明系统从可商业获得的图像库 ( 或经类似处理的具有图像 掩模层的原始产品 2D 图像 ) 开始， 提取精确的产品形状信息， 根据该形状信息和形状类别 数据生成对应的 3D 表示， 然后使用平面投影将原始照片映射回该 3D 表示。图像掩模层将 照片分离为前景和背景。前景包括作为产品 2D 图像的部分的任何像素。背景包括其中照 片场景中的背景或环境空间是可见的任何像素， 这些像素不是产品 2D 图像的部分。用于将 照片 /2D 图像中的前景和背景。
19、分离开的技术是公知的， 并且本发明不依赖任何特定的图像 掩模层方法。 0014 本发明的实施例的总体目标是根据 2D 图像创建 3D 模型， 并在不需要对该模型进 行下游编辑的情况下产生元数据。该方法的关键益处是能够运行 ( 或再运行 ) 模型处理以 适应新的或更新后的图像内容或对模型输出进行改变 ( 和纠正 )。 0015 本发明模型处理的首要优点包括 ： 自动、 简单、 降低了人力劳动、 迅速和再现性、 以 及标准化的 3D 模型输出。第二个优点包括能够设置和改变模型输出参数。这意味着能够 容易地生成具有不同网格和图像尺寸或类型的高质量 3D 模型。此外， 具有照片和产品尺寸 测量的数据库。
20、可以变成可接受的、 高分辨率的 3D 产品 ( 包装商品 ) 模型， 而不需要对 3D 数 据进行手工操作或建模。 0016 体现本发明的计算机实现的 3D 建模方法包括 ： 0017 访问主题消费商品产品的产品数据， 所述产品数据包括所述主题消费商品产品的 2D 图像数据和所述主题消费商品产品的形状信息 ； 0018 从所述产品数据中提取所述形状信息， 所述提取包括获取所述消费商品产品的 2D 轮廓形状 ( 即图像掩模 ) 和获取所述主题消费商品产品的 3D 形状类别 ( 例如分配或以其 他方式提供 ) ； 0019 使用所获取的 2D 轮廓形状和 3D 形状类别， 生成 ( 或得到 ) 详。
21、细的 3D 形状图 ； 0020 根据所获取的 3D 形状类别， 通过以下步骤生成所述主题消费商品产品的 3D 网 格 ： 0021 确定所述详细的 3D 形状图的一系列的横截面区， 每一个横截面区具有相对于所 述主题消费商品产品的纵轴的各自的横截面， 其中给定横截面区的横截面与以下不同 ： (i) 系列次序中的直接后继横截面区的各自的横截面 ( 如果有的话 ) 以及 (ii) 系列次序中的 直接在前横截面区的各自的横截面 ( 如果有的话 )， 以使得横截面从一个横截面区到系列 次序中的下一个横截面区而改变 ； 以及 0022 使用所述一系列的横截面区， 定义所述主题消费商品产品的所述 3D 。
22、网格 ； 以及 0023 根据所述 2D 图像数据在所述主题消费商品产品的所述 3D 网格图像上进行投影， 所述投影形成所述主题消费商品产品的 3D 模型， 所形成的 3D 模型被配置以用于输出显 示。 说 明 书 CN 102236910 A CN 102236914 A3/11 页 7 0024 所述详细的 3D 形状图至少从前部和后部视点表示所述主题消费商品产品的正视 地正确 3D 对象轮廓 / 轮廓形状。 0025 所述形状信息包括所述主题消费商品产品的宽度、 高度和深度测量， 并且包括所 述主题消费商品产品的 3D 形状类别的指示。此外， 所述主题消费商品产品是包装的商品， 所述包装。
23、的商品具有任意一种类型或类型组合的容器， 所述类型包括 ： 0026 一般地柱状瓶， 0027 具有泵动式配送端的一般柱状瓶， 0028 一般地管状配送管， 0029 实际地盒状纸箱， 0030 一般地枕头状的袋、 包或囊， 以及 0031 具有平端 ( 例如用于直立的底端 ) 的一般地类似袋的容器包或囊。 0032 在实施例中， 定义所述主题消费商品产品的 3D 网格的步骤还包括确定所述主题 消费商品产品沿着所述纵轴的深度剖面。 确定深度剖面中使用的技术可以包括形状生成。 0033 在一些实施例中， 确定所述详细的 3D 形状图的一系列的横截面区的步骤包括曲 线拟合。 0034 根据本发明的。
24、一个方面， 投影步骤使用平面投影来将所述主题消费商品产品的 2D 图像投影到所生成的网格上。 0035 在一些实施例中， 网格生成将所述详细的 3D 形状图、 所确定的一系列的横截面区 以及可用的深度剖面进行组合。深度剖面可以是主题实例的深度剖面， 或者是与所述主题 消费商品产品的 3D 形状类别相关联的深度剖面。 0036 在另一个实施例中， 用于 3D 建模的计算机装置实施上述方法步骤。例如， 提取器 访问来自数据存储设备的主题消费商品产品的产品数据并且提取形状数据 ( 例如， 2D 图像 掩模 )。提取器还获取主题消费商品产品的 3D 形状类别并得到详细的 3D 形状图。根据该 详细的 。
25、3D 形状图， 网格生成器根据所确定的 3D 形状类别生成主题特定的网格。图像映射 器 ( 或建模器的类似操作 ) 将 2D 图像投影到所生成的网格上并且形成主题消费商品产品 的 3D 模型。 附图说明 0037 根据对如附图中所说明的本发明的示例性实施例的更具体的描述， 以上内容将是 显而易见的， 在附图中， 类似的标号贯穿不同视图指代相同部件。 附图不一定是按比例绘制 的， 重点在于说明本发明的实施例。 0038 图 1A-1C 是本发明的一个实施例的框图和示意图。 0039 图 2 是在一个实施例中的 3D 形状类别的示意视图。 0040 图 3A-3C 分别是一个实施例中管类别、 袋 。
26、(sack) 类别和囊 (pouch) 类别的深度剖 面。 0041 图 4 是一个实施例中唧筒柄类别的主题的详细的 3D 形状图， 其具有支持的 3D 形 状 / 对象轮廓文件。 0042 图 5 和 6 是一个实施例中的网格生成的示意视图， 其中确定和使用一系列横截面 区。 说 明 书 CN 102236910 A CN 102236914 A4/11 页 8 0043 图 7A-7C 是平面图像映射测试例子， 其是本发明的建模技术的示意说明 ： 从主题 (酒杯)的初始图像到该主题的网格纹理文件、 到初始图像被投影到主题网格上的3D模型。 0044 图 8A-8B 分别是体现本发明的计算机。
27、系统的示意视图和框图。 具体实施方式 0045 下文是本发明的示例性实施例的描述。 0046 对于购物 / 商店体验应用， 关键的考虑是需要构建对整个杂货店的大小大约 50,000 到 80,000 产品模型为可伸缩的包装商品模型创建过程。这使得本申请人认识到 ： 这些可视化要求可接受的建模水平， 可以通过使用 2D 图像来生成在其上重投影 2D 图像以 为每一个可获得的产品图像创建定制的高分辨率 3D 模型的 3D 网格来实现。 0047 图 1A 和 1B 是该方法的说明并且示出了体现本发明的计算机系统 100 的概述。计 算机系统 100 包括数据存储设备 11 和由下文进一步详细描述的。
28、一个或多个处理模块 21、 31、 41 形成的 3D 建模器 13。数据存储设备 11 保存各种包装商品 ( 例如， 零售产品 ) 的产 品数据。对于每一个产品 ( 特定的包装 )， 产品数据包括 ： (i) 主题产品的前部、 后部、 顶部 和 / 或侧部的 2D 图像， (ii) 包装产品的高度、 宽度和深度的尺寸测量， 以及 (iii) 产品的 3D 形状类型或类别的指示。 0048 在一个实施例中， 2D 图像是来自现有的图像库的产品照片或类似地经处理的原 始产品图像。通常地， 图像库文件的阿尔法层或通道提供各个产品 / 包装的 2D 图像掩模 (mask) 或 2D 形状映射 (sh。
29、ape map)( 原始 2D 形状数据 )。该阿尔法层 / 图像掩模层将照 片分离为前景和背景。前景包括是产品 2D 图像的部分的任何像素， 而背景是其中照片场景 中的背景或环境空间是可见的剩余的像素(不是产品2D图像的部分的任何像素)。 用于将 照片 /2D 图像中前景和背景分离开的技术是公知的， 并且本发明的实施例不依赖由任何特 定方法形成的图像掩模。 0049 返回图 1， 数据存储设备 11 使用到库文件的文件路径名、 指针 / 链接等引用产品 表 10 中可获得的产品图像。产品表 10 还存储每一个产品的属性， 例如产品尺寸 ( 大小测 量 )、 3D 形状类别指示和例如与单独包装。
30、 / 产品相关联的名称和 UPC( 通用产品代码 ) 的其 他产品元数据。表 1 是数据存储设备 11 的这种产品表 10 的示例。 0050 说 明 书 CN 102236910 A CN 102236914 A5/11 页 9 0051 表 1 ： 示例性产品表 0052 在建模器13中， 对于每一个3D形状类别或类型15， 存在各自的3D模板17和对应 的规则 19。3D 模板 17 是用于生成对应类别形状的一般 3D 网格。特别地， 模板 17 为类别 的对象形状代表提供三维成比例的几何图形。 当应用于模板网格时， 对应的规则19根据2D 产品图像和尺寸测量数据构造产品特定的 3D 模。
31、型。规则 19 包括用于对应形状类别的深度 剖面规则。 0053 图 2 中示出了在一个实施例中支持的 3D 形状类别 15 的例子。在该非限制性的例 子中有以下 3D 形状类别 ： 0054 非对称的， 0055 具有圆盖的非对称的， 0056 包， 0057 电池盒， 0058 盒， 0059 平的深的， 0060 其他或混杂的， 0061 椭圆， 0062 具有圆盖的椭圆， 0063 囊 0064 唧筒柄 (pump handle)， 0065 圆， 0066 袋， 说 明 书 CN 102236910 A CN 102236914 A6/11 页 10 0067 枕套形状的， 以及 0。
32、068 管。 0069 其他 3D 形状类别是适合的。 0070 本发明的内容生成的一个重要部分是将每一个产品包装看作一般形状类型 ( 例 如， 形状类别 15 中的一个 ) 的实例。数据存储设备 11 的产品表 10 中的每个产品的 3D 形 状类别的指示使得系统100能够确定3D模板17和特定的规则19， 以根据产品的2D产品图 像和尺寸测量数据来构造各自的 3D 模型。该形状类别系统被设计成可扩展的， 以便当发现 包装的新的类型时， 可以创建新的模板 17 和构造规则 19 来实现该类型。 0071 对于数据存储设备 11/ 产品表 10 中的每一个产品， 建模器 13 运行 ( 执 行。
33、 ) 图 1B 中概述以及图 1C 中进一步详细描述的 3D 模型生成过程 103。参照图 1B， 建模器 13 访问主 题产品的产品数据 ( 在产品表 10 中 )。特别地， 建模器 13 的数据提取器 ( 模块 )21 从产 品 2D 图像文件中获取原始形状映射数据 ( 即， 2D 图像掩模数据 ) 和从产品表 10 中获取主 题产品的尺寸测量和 3D 形状类别。根据所提取的形状信息， 数据提取器 21 形成详细的 3D 形状图 23。详细的 3D 形状图 23 是有效地 3D 形状映射并且至少从前部和后被视点表示特 定主题产品的正视地正确轮廓形状。接着， 建模器 13 的处理模块 31、。
34、 41 基于详细的 3D 形 状图23和基于对应于针对主题产品指示的形状类别的3D模板17和规则19， 生成3D网格。 最后， 建模器 13 将原始产品图像映射到生成的网格上以生成主题产品的 3D 模型 25。 0072 现在参照图 1C 中示出的一个实施例更详细地讨论 3D 模型生成过程 103( 建模器 13)。 0073 对于例如用UPC号引用的每一个特定产品， 建模器13以下文所描述的步骤运行3D 模型生成过程 103。例如由数据提取器 21 所实现的步骤 112， 从产品表 10/ 数据存储设备 11 中获取针对 ( 由 UPC 号索引的 ) 主题产品的尺寸测量和形状类别。接着， 步。
35、骤 112/ 提 取器21从产品表10中的图像引用获取主题产品的前部图像文件并且打开该图像的阿尔法 层。根据该数据层， 步骤 112 导出用图像像素坐标表示的原始产品 2D 形状数据 ( 即， 2D 图 像掩模 )。 0074 步骤 112 使用所导出的原始产品 2D 形状信息， 并形成产品图像掩模文件。该产品 图像掩模文件内容是描述从产品表 10 中引用的产品照片 / 图像中以像素级提取的产品包 装的 2D 轮廓形状 (2D 图像掩模 ) 的数字数据。针对宽度 (X 坐标 ) 和高度 (Y 坐标 ) 维度 二者计算掩模。步骤 112 还计算用于剪切 (cutout) 区的额外的宽度掩模， 以。
36、确定孔的位置 或产品 2D 轮廓边界内部出现的其他特别特征。表 2 是该掩模数据的示例。 0075 0076 说 明 书 CN 102236910 A CN 102236914 A7/11 页 11 0077 表 2 ： 产品图像掩模文件 0078 最后， 步骤 112 延伸和模糊产品图像的边。这平滑了图像上的边， 并有效地修剪了 额外的白空间。 0079 步骤114接收来自步骤112的产品图像掩模文件作为输入。 根据产品的形状类别， 步骤 114 参考对应的类别模板 17( 类别的一般性几何图形数据 ) 并且用少量线段对形状映 射 ( 轮廓 ) 曲线进行建模。步骤 114 将来自产品图像掩模。
37、文件的产品轮廓曲线转换为最佳 拟合线段 ( 按像素 )。步骤 114 使用迭代过程来优化拟合和减少达到目标所要的线段的数 量。 0080 接着， 步骤 114 使用产品的形状类别 15 和对应于该形状类别的深度剖面规则 19 来生成深度估计。 对于许多产品， 仅前部和后部产品视图的照片是可获得的。 这意味着关于 产品深度 / 形状的信息是缺少的。步骤 114 通过使用由形状类别 15 确定的深度剖面来填 充该缺少的信息， 这继而定义缺少的深度形状信息。图 3A 和表 3 中显示了 TUBE( 管 ) 形状 类别的深度剖面。在图 3B 和 3C 中分别地示出了一个实施例中的 SACK( 袋 ) 。
38、和 POUCH( 囊 ) 形状类别的样本深度剖面。 0081 类型 Y Z 规则 管 0.00000 1.00000 插值 管 0.01183 1.00000 插值 管 0.14704 0.98000 插值 管 0.22535 0.95600 插值 管 0.27380 0.92800 插值 管 0.31775 0.89200 插值 管 0.37183 0.84000 插值 管 0.49127 0.72000 插值 管 0.60563 0.58000 插值 管 0.72958 0.42000 插值 管 0.85070 0.24400 插值 管 0.90310 0.16800 插值 管 0.966。
39、20 0.06088 插值 管 0.99155 0.01600 插值 管 1.00000 0.01200 插值 0082 0083 表 3 ： TUBE 类别深度剖面 0084 结果， 步骤 114 输出产品特定 3D 形状文件， 其提供缩放到米的产品的 3D 对象轮 廓。沿 y 轴描绘高度。沿着 x 轴给出宽度的最小和最大值。以及沿 z 轴描绘深度。3D 形状 说 明 书 CN 102236910 A CN 102236914 A8/11 页 12 文件指定例如以米为单位表示的产品的前部和侧部视图的 3D 网格的投影的几何轮廓。在 一个实施例中， 例如， 3D 形状文件包括提供产品的左侧、 。
40、产品的右侧和产品的深度 ( 假设产 品深度是对称的 ) 的几何精确网格模型的三个线段图 ( 矢量 )。表 4 示出了来自为 PUMP_ HANDLE 形状类别的产品生成的 3D 形状文件的样本数据记录。图 4 示出具有针对 Y 轴绘制 的 Xmax、 Xmin、 和 X-Midpoint 坐标的对应图。 0085 索引 Y Xmax Zdepth Xmin 中点 1 0 0.040365 0.028681 0.045333 0.002484 2 0.000869 0.042973 0.030534 0.046699 0.001863 3 0.00236 0.045457 0.032299 0.。
41、048066 0.001366 4 0.003602 0.046824 0.033269 0.048562 0.000869 5 0.005216 0.047445 0.033711 0.048811 0.000745 6 0.005341 0.047693 0.033887 0.048811 0.000621 7 0.056263 0.047693 0.033887 0.048811 0.000621 8 0.146308 0.047569 0.033799 0.048687 0.000621 9 0.14991 0.047072 0.033446 0.048066 0.000497 10 。
42、0.155126 0.045706 0.032475 0.046078 0.000248 11 0.162578 0.041483 0.029475 0.041607 0.000124 12 0.165435 0.038875 0.027622 0.038875 0 0086 表 4 ： PUMP-HANDLE 类别的产品的样本 3D 形状文件 0087 重申， 3D 形状文件有效地提供了详细的 3D 形状图 23。详细的 3D 形状图 23 至少 从前部和后部视点表示主题产品的正视地正确轮廓形状。因此， 详细的 3D 形状图 23(3D 形 状文件 ) 提供特定包装的产品的 3D 对象轮廓信。
43、息。 0088 继续参照图 1C， 建模器过程 103 的步骤 116 读取由步骤 114 输出的 3D 形状文件 ( 详细的 3D 形状图 )23。基于主题产品的形状类别， 步骤 116 确定对应的形状类别模板 17 的维度和生成圆柱模板文件。在一个实施例中， BOX( 盒 )、 BATTERY( 电池 ) 和 BAG( 包 ) 类 别是根据 6 棱柱体 (6-sided cylinder) 而建模的， 而其他类别类型使用例如段大小为 16 的缺省柱体。在实施例中， GENERATE 3D SHAPE( 生成 3D 形状 ) 功能通过将形状顶点映射 到标准化的几何图元 ( 模板 17 生成的。
44、柱体 ) 上来构建产品模型。例如， 瓶形状的对象都可 以被视为是变形的柱体， 并且都可以基于在特定产品的 3D 形状文件 / 详细的 3D 形状图 23 中指定的多个垂直和径向段， 根据具有标准化网格的单个柱体模板文件而创建。对象形状 高度例如是由径向段指定的。图 5 说明了在一个实施例中使用的这种柱体模板网格。模板 网格对于各个形状类别是通用的。图 6 中所说明的是 TUBE 形状类别的模板网格。横截面 基于椭圆的数学公式而非图 5 中柱体的圆形横截面。使用了用于根据 3D 模板 17 生成这些 标准网格的公知技术。 0089 根据网格模板 17 构建产品模型的策略是申请人的内容生成过程的关。
45、键特征。根 据模板 17 生成 3D 模型产生高度统一的产品模型集合， 并且对使得能够从基于简单视图的 照片 (2D 图像 ) 可靠地创建成百上千的 3D 产品模型的本发明过程的可伸缩性而言是至关 重要的。 0090 除了指定标准化的网格几何图形之外， 模板 17 还将网格面组织成材料组， 在所述 材料组上映射根据产品 2D 照片生成的纹理。 0091 最后， 模板网格文件17的使用使得能够精确地控制目标/平均输出模型几何图形 说 明 书 CN 102236910 A CN 102236914 A9/11 页 13 尺寸。可以容易地调节较低分辨率和较高分辨率网格模型之间的平衡。例如， 可以为接。
46、近 浏览产生多边形计数很高的网格 ( 接近模型 )， 并且可以为货架安置产生多边形计数很低 的网格 ( 货架浏览模型 )。 0092 接着， 步骤 116 根据 3D 形状文件 ( 详细的 3D 形状图 23)， 基于形状类别规则 19， 创建横截面 (X-Z 平面图 )。优选地， 横截面处理模块 31 实现该步骤。横截面处理模块 31 确定详细的 3D 形状图 23 的一系列横截面区。每一个横截面区具有相对于主题产品的纵轴 的各自的横截面。给定横截面区的横截面与以下不同 ： (i) 系列次序中直接后继横截面区 的各自的横截面和 (ii) 系列次序中直接在前横截面区的各自的横截面， 以使得横截。
47、面从 一个横截面区到系列次序中下一个横截面区而改变。 0093 接着， 步骤116将模板17生成的柱体网格和该一系列的横截面区(由处理模块31 生成 ) 组合起来。特别地， 网格生成器 41 走查 (walk through) 模板 17 生成的柱体网格并 且根据从处理模块 31 输出的所生成的横截面数 据来构建产品特定的 3D 模型。 0094 在该例子中， 网格生成器 41 基于存储在 3D 形状文件 / 详细的 3D 形状图 23 中的 产品特定维度来变换模板 17 生成的柱体网格。将包装形状看作 2 维切片的集合， 网格生成 器 41 使用 x-Midpoint、 x-Min、 x-M。
48、ax、 以及 z-Depth 字段数据在形状文件 / 详细的 3D 形状 图 23 的数据中进行迭代， 以基于产品形状类别构造横截面。 0095 对于 BATTERY 形状类别， 在步骤 114 和 116 中生成和处理两个部件。除了遵从上 文描述的纸板插入处理之外， 步骤 114 创建蛤壳式挤压 (clamshell extrusion) 形状文件 23。蛤壳式挤压是基于吸塑包装 (blister pack) 内容的形状的倾斜方形。如果存在挤压 形状文件 23， 那么步骤 116 处理将具有产品特定几何形状的蛤壳式网格添加到该步骤的输 出。表 5 提供了具有用于容纳蛤壳式挤压的剪切块 (cu。
49、tout) 的纸板插入的 2D 图像掩模数 据的示例。 0096 文件 维度 索引 最小 最大 1133321601.1.dat 剪切块 1810 -1 -1 1133321601.1.dat 剪切块 1809 -1 -1 1133321601.1.dat 剪切块 1808 -1 -1 . 1133321601.1.dat 剪切块 1778 213 1282 1133321601.1.dat 剪切块 1777 213 1282 1133321601.1.dat COTOUT 1776 213 1282 . 1133321601.1.dat 剪切块 1113 213 1282 1133321601.1.dat 剪切块 1112。