《图像确定方法、装置、电子设备和计算机可读介质.pdf》由会员分享，可在线阅读，更多相关《图像确定方法、装置、电子设备和计算机可读介质.pdf（25页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310499240.X(22)申请日 2023.05.05(71)申请人 京东科技控股股份有限公司地址 101116 北京市大兴区北京经济技术开发区科创十一街18号C座2层221室(72)发明人 赵珂瑶(74)专利代理机构 北京唯智勤实知识产权代理事务所(普通合伙)11557专利代理师 姜悦(51)Int.Cl.G06V 10/20(2022.01)G06V 10/40(2022.01)G06V 10/82(2022.01)G06V 10/80(2022.01)G06V 10/74(2022。
2、.01)G06F 16/58(2019.01)G06F 16/538(2019.01)G06F 16/532(2019.01)G06N 3/0464(2023.01)G06N 3/08(2023.01)(54)发明名称图像确定方法、装置、电子设备和计算机可读介质(57)摘要本公开的实施例公开了图像确定方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：对待检索物品图像进行图像预处理，得到预处理向量；将预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集；将层次特征向量集输入至多层次特征融合模型，以输出多层次融合特征向量集；根据多层。
3、次融合特征向量集，生成待检索物品图像对应的图像表征向量，作为目标图像表征向量；从物品图像库中确定出对应图像表征向量与目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。该实施方式与人工智能有关，可以准确地从物品图像库中确定出与待检索物品图像相匹配的物品图像。权利要求书3页 说明书16页 附图5页CN 116612264 A2023.08.18CN 116612264 A1.一种图像确定方法，包括：对待检索物品图像进行图像预处理，得到预处理向量；将所述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，其中，所述层次特征向量集中。
4、的各个层次特征向量之间对应的特征信息深度不同；将所述层次特征向量集输入至所述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集；根据所述多层次融合特征向量集，利用所述图像表征向量生成模型，生成所述待检索物品图像对应的图像表征向量，作为目标图像表征向量；从物品图像库中确定出对应图像表征向量与所述目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。2.根据权利要求1所述的方法，其中，所述注意力机制网络模型包括：至少一层注意力机制层，至少一层第一特征编码层，至少一层第二特征编码层，至少一层第三特征编码层；以及所述将所述预处理向量输入至图像表征向量生成模型中的、用于。
5、提取多层次特征的注意力机制网络模型，以输出层次特征向量集，包括：将所述预处理向量输入至所述至少一层注意力机制层，得到注意力向量；将所述注意力向量输入至所述至少一层第一特征编码层，以输出第一特征编码向量；根据所述第一特征编码向量，生成低层次特征向量，作为层次特征向量；将所述第一特征编码向量输入至所述至少一层第二特征编码层，以输出第二特征编码向量；根据所述第二特征编码向量，生成中层次特征向量，作为层次特征向量；将所述第二特征编码向量输入至所述至少一层第三特征编码层，以输出第三特征编码向量；根据所述第三特征编码向量，生成高层次特征向量，作为层次特征向量。3.根据权利要求1所述的方法，其中，所述多层次。
6、特征融合模型包括：多层次特征融合层和多个融合特征处理层；以及所述将所述层次特征向量集输入至所述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集，包括：将所述层次特征向量集输入至所述多层次特征融合层，以输出特征融合向量集；将所述特征融合向量集输入至所述多个融合特征处理层，以输出所述多层次融合特征向量集。4.根据权利要求3所述的方法，其中，所述融合特征处理层集中的融合特征处理层包括：卷积层，池化层，随机失活层，全连接层；以及所述将所述特征融合向量集输入至所述多个融合特征处理层，以输出所述多层次融合特征向量集，包括：对于所述特征融合向量集中的每个特征融合向量，执行第一处理步骤：。
7、将所述特征融合向量输入至对应融合特征处理层包括的卷积层，以输出卷积向量；将所述卷积向量输入至对应融合特征处理层包括的池化层，以输出池化向量；权利要求书1/3 页2CN 116612264 A2将所述池化向量输入至对应融合特征处理层包括的随机失活层，以输出随机失活向量；将所述随机失活向量输入至对应融合特征处理层包括的全连接层，以输出全连接向量；确定所述特征融合向量集中的每个特征融合向量对应的特征层次信息，其中，特征层次信息表征特征融合向量包括的特征的特征提取深度；根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成所述多层次融合特征向量集。5.根据权利要求4所述的方法，其中，所述融。
8、合特征处理层集中的融合特征处理层还包括：批归一化层；以及所述根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成所述多层次融合特征向量集，包括：根据每个特征融合向量对应的特征层次信息，对所述全连接向量集进行向量排序，得到全连接向量序列；对于所述全连接向量序列中的每个全连接向量，执行第二处理步骤：确定所述全连接向量对应的特征层次信息，作为目标特征层次信息；响应于确定所述全连接向量不为所述全连接向量序列中的、目标位置的全连接向量，且存在所述全连接向量与相邻近的、对应特征层次信息高于所述目标特征层次信息的全连接向量，将所述全连接向量与相邻近的、对应特征层次信息高于所述目标特征层次信息的。
9、全连接向量确定为目标全连接向量；对所述目标全连接向量对应的全连接向量与所述全连接向量进行拼接，得到拼接向量；对于所得到的拼接向量集中的每个拼接向量，将所述拼接向量输入至对应融合特征处理层中的批归一化层，得到批归一化向量，作为多层次融合特征向量。6.根据权利要求2所述的方法，其中，所述将所述预处理向量输入至所述至少一层注意力机制层，得到注意力向量，包括：将所述预处理向量输入至至少一层串行连接的注意力机制层，得到注意力向量，其中，注意力机制层包括：至少两层归一化层，注意力层，至少两层随机失活层，多层支持向量机层。7.根据权利要求1所述的方法，其中，所述对待检索物品图像进行图像预处理，得到预处理向量。
10、，包括：对所述待检索物品图像进行图像尺寸调整，得到调整后图像；对调整后图像进行线性卷积变换，以输出目标维度的图像，作为预处理向量。8.根据权利要求1所述的方法，其中，所述图像表征向量生成模型对应的至少一个损失函数包括：多重相似性损失函数和二阶关系损失函数。9.一种图像确定装置，包括：预处理单元，被配置成对待检索物品图像进行图像预处理，得到预处理向量；第一输入单元，被配置成将所述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，其中，所述层次特征向量权利要求书2/3 页3CN 116612264 A3集中的各个层次特征向量之间对应的特征信息深。
11、度不同；第二输入单元，被配置成将所述层次特征向量集输入至所述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集；生成单元，被配置成根据所述多层次融合特征向量集，利用所述图像表征向量生成模型，生成所述待检索物品图像对应的图像表征向量，作为目标图像表征向量；确定单元，被配置成从物品图像库中确定出对应图像表征向量与所述目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。10.一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求18中任一所述的方法。11.一种。
12、计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求18中任一所述的方法。12.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求18中任一项所述的方法。权利要求书3/3 页4CN 116612264 A4图像确定方法、装置、电子设备和计算机可读介质技术领域0001本公开的实施例涉及计算机技术领域，具体涉及图像确定方法、装置、电子设备和计算机可读介质。背景技术0002目前，物品图像检索的发展，不仅为用户提供了便利，也促进了电子商务向移动端的发展。对于图像的检索，通常采用的方式为：首先，将卷积神经网络作为图像特征提取骨干网络，实现。
13、图像间的特征相似度的计算。然后，从物品图像库中检索出与图像特征相似度最高的物品图像，作为相符图像。0003然而，发明人发现，当采用上述方式来检索图像，经常会存在如下技术问题：0004图像特征提取能力较弱，使得所提取的特征的特征表达能力较弱，导致检索得到的图像不够准确。0005该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。发明内容0006本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限。
14、制所要求的保护的技术方案的范围。0007本公开的一些实施例提出了图像确定方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。0008第一方面，本公开的一些实施例提供了一种图像确定方法，包括：对待检索物品图像进行图像预处理，得到预处理向量；将上述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，其中，上述层次特征向量集中的各个层次特征向量之间对应的特征信息深度不同；将上述层次特征向量集输入至上述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集；根据上述多层次融合特征向量集，利用上述图像表征向量生成。
15、模型，生成上述待检索物品图像对应的图像表征向量，作为目标图像表征向量；从物品图像库中筛选出对应图像表征向量与上述目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。0009可选地，上述注意力机制网络模型包括：至少一层注意力机制层，至少一层第一特征编码层，至少一层第二特征编码层，至少一层第三特征编码层；以及上述将上述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，包括：将上述预处理向量输入至上述至少一层注意力机制层，得到注意力向量；将上述注意力向量输入至上述至少一层第一特征编码层，以输出第一特征编码向量；根据上述第一特征编码。
16、向量，生成低层次特征向量，作为层次特征向量；将上述第一特说明书1/16 页5CN 116612264 A5征编码向量输入至上述至少一层第二特征编码层，以输出第二特征编码向量；根据上述第二特征编码向量，生成中层次特征向量，作为层次特征向量；将上述第二特征编码向量输入至上述至少一层第三特征编码层，以输出第三特征编码向量；根据上述第三特征编码向量，生成高层次特征向量，作为层次特征向量。0010可选地，上述多层次特征融合模型包括：多层次特征融合层和多个融合特征处理层；以及上述将上述层次特征向量集输入至上述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集，包括：将上述层次特征向量集。
17、输入至上述多层次特征融合层，以输出特征融合向量集；将上述特征融合向量集输入至上述多个融合特征处理层，以输出上述多层次融合特征向量集。0011可选地，上述融合特征处理层集中的融合特征处理层包括：卷积层，池化层，随机失活层，全连接层；以及上述将上述特征融合向量集输入至上述多个融合特征处理层，以输出上述多层次融合特征向量集，包括：对于上述特征融合向量集中的每个特征融合向量，执行第一处理步骤：将上述特征融合向量输入至对应融合特征处理层包括的卷积层，以输出卷积向量；将上述卷积向量输入至对应融合特征处理层包括的池化层，以输出池化向量；将上述池化向量输入至对应融合特征处理层包括的随机失活层，以输出随机失活向。
18、量；将上述随机失活向量输入至对应融合特征处理层包括的全连接层，以输出全连接向量；确定上述特征融合向量集中的每个特征融合向量对应的特征层次信息，其中，特征层次信息表征特征融合向量包括的特征的特征提取深度；根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成上述多层次融合特征向量集。0012可选地，上述融合特征处理层还包括：批归一化层集；以及上述根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成上述多层次融合特征向量集，包括：根据每个特征融合向量对应的特征层次信息，对上述全连接向量集进行向量排序，得到全连接向量序列；对于上述全连接向量序列中的每个全连接向量，执行第二处。
19、理步骤：确定上述全连接向量对应的特征层次信息，作为目标特征层次信息；响应于确定上述全连接向量不为上述全连接向量序列中的、目标位置的全连接向量，且存在上述全连接向量与相邻近的、对应特征层次信息高于上述目标特征层次信息的全连接向量，将上述全连接向量与相邻近的、对应特征层次信息高于上述目标特征层次信息的全连接向量确定为目标全连接向量；对上述目标全连接向量对应的全连接向量与上述全连接向量进行拼接，得到拼接向量；对于所得到的拼接向量集中的每个拼接向量，将上述拼接向量输入至上述批归一化层集中的、对应的批归一化层，得到批归一化向量，作为多层次融合特征向量。0013可选地，上述根据上述多层次融合特征向量集，生。
20、成上述待检索物品图像对应的图像表征向量，作为目标图像表征向量，包括：将上述预处理向量输入至至少一层串行连接的注意力机制层，得到注意力向量，其中，注意力机制层包括：至少两层归一化层，注意力层，至少两层随机失活层，多层支持向量机层。0014可选地，上述对待检索物品图像进行图像预处理，得到预处理向量，包括：对上述待检索物品图像进行图像尺寸调整，得到调整后图像；对调整后图像进行线性卷积变换，以输出目标维度的图像，作为预处理向量。0015可选地，上述图像表征向量生成模型对应的至少一个损失函数包括：多重相似性损失函数和二阶关系损失函数。说明书2/16 页6CN 116612264 A60016第二方面，本。
21、公开的一些实施例提供了一种图像确定装置，包括：预处理单元，被配置成对待检索物品图像进行图像预处理，得到预处理向量；第一输入单元，被配置成将上述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，其中，上述层次特征向量集中的各个层次特征向量之间对应的特征信息深度不同；第二输入单元，被配置成将上述层次特征向量集输入至上述图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集；生成单元，被配置成根据上述多层次融合特征向量集，利用上述图像表征向量生成模型，生成上述待检索物品图像对应的图像表征向量，作为目标图像表征向量；确定单元，被配置。
22、成从物品图像库中确定出对应图像表征向量与上述目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。0017可选地，上述注意力机制网络模型包括：至少一层注意力机制层，至少一层第一特征编码层，至少一层第二特征编码层，至少一层第三特征编码层；以及第一输入单元可以被配置成：将上述预处理向量输入至上述至少一层注意力机制层，得到注意力向量；将上述注意力向量输入至上述至少一层第一特征编码层，以输出第一特征编码向量；根据上述第一特征编码向量，生成低层次特征向量，作为层次特征向量；将上述第一特征编码向量输入至上述至少一层第二特征编码层，以输出第二特征编码向量；根据上述第二特征编码向量，生成中层次特。
23、征向量，作为层次特征向量；将上述第二特征编码向量输入至上述至少一层第三特征编码层，以输出第三特征编码向量；根据上述第三特征编码向量，生成高层次特征向量，作为层次特征向量。0018可选地，上述多层次特征融合模型包括：多层次特征融合层和多个融合特征处理层；以及第二输入单元可以被配置成：将上述层次特征向量集输入至上述多层次特征融合层，以输出特征融合向量集；将上述特征融合向量集输入至上述多个融合特征处理层，以输出上述多层次融合特征向量集。0019可选地，上述融合特征处理层集中的融合特征处理层包括：卷积层，池化层，随机失活层，全连接层；以及第二输入单元可以被配置成：对于上述特征融合向量集中的每个特征融合。
24、向量，执行第一处理步骤：将上述特征融合向量输入至对应融合特征处理层包括的卷积层，以输出卷积向量；将上述卷积向量输入至对应融合特征处理层包括的池化层，以输出池化向量；将上述池化向量输入至对应融合特征处理层包括的随机失活层，以输出随机失活向量；将上述随机失活向量输入至对应融合特征处理层包括的全连接层，以输出全连接向量；确定上述特征融合向量集中的每个特征融合向量对应的特征层次信息，其中，特征层次信息表征特征融合向量包括的特征的特征提取深度；根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成上述多层次融合特征向量集。0020可选地，上述融合特征处理层还包括：批归一化层集；以及第二输入单。
25、元可以被配置成：根据每个特征融合向量对应的特征层次信息，对上述全连接向量集进行向量排序，得到全连接向量序列；对于上述全连接向量序列中的每个全连接向量，执行第二处理步骤：确定上述全连接向量对应的特征层次信息，作为目标特征层次信息；响应于确定上述全连接向量不为上述全连接向量序列中的、目标位置的全连接向量，且存在上述全连接向量与相邻近的、对应特征层次信息高于上述目标特征层次信息的全连接向量，将上述全连接向量与相邻近的、对应特征层次信息高于上述目标特征层次信息的全连接向量确定为目标全连说明书3/16 页7CN 116612264 A7接向量；对上述目标全连接向量对应的全连接向量与上述全连接向量进行拼接。
26、，得到拼接向量；对于所得到的拼接向量集中的每个拼接向量，将上述拼接向量输入至上述批归一化层集中的、对应的批归一化层，得到批归一化向量，作为多层次融合特征向量。0021可选地，生成单元可以被配置成：将上述预处理向量输入至至少一层串行连接的注意力机制层，得到注意力向量，其中，注意力机制层包括：至少两层归一化层，注意力层，至少两层随机失活层，多层支持向量机层。0022可选地，预处理单元可以被配置成：对上述待检索物品图像进行图像尺寸调整，得到调整后图像；对调整后图像进行线性卷积变换，以输出目标维度的图像，作为预处理向量。0023可选地，上述图像表征向量生成模型对应的至少一个损失函数包括：多重相似性损失。
27、函数和二阶关系损失函数。0024第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。0025第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一实现方式描述的方法。0026第五方面，本公开的一些实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面中任一实现方式所描述的方法。0027本公开的上述各个实施例具有如下有益效果：通过本公开的一些。
28、实施例的图像确定方法可以准确地从物品图像库中确定出与待检索物品图像相匹配的物品图像。具体来说，造成图像检索不够准确的原因在于：图像特征提取能力较弱，使得所提取的特征的特征表达能力较弱，导致检索得到的图像不够准确。基于此，本公开的一些实施例的图像确定方法，首先，对待检索物品图像进行图像预处理，得到预处理向量。在这里，通过对待检索物品图像的图像预处理，不仅可以增强图像的物品主体内容信息，还便于后续输入至注意力机制网络模型。然后，将上述预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集，其中，上述层次特征向量集中的各个层次特征向量之间对应的特征信息。
29、深度不同。在这里，通过注意力机制网络模型，可以提取预处理向量中多层次的、且更为丰富的图像特征。接着，将上述层次特征向量集输入至图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集。在这里，利用多层次特征融合模型，将不同层次特征的融合，可以更好地平衡不同层次的特征信息，使得后续上述待检索物品图像对应的图像表征向量的特征表达能力更强。进而，根据上述多层次融合特征向量集，利用上述图像表征向量生成模型，可以准确地生成上述待检索物品图像对应的图像表征向量，作为目标图像表征向量。在这里，通过多层次融合特征向量集，可以充分利用图像的多方面特征信息，使所得到的目标图像表征向量具有强大的特征表。
30、达能力。最后，从物品图像库中准确地确定出对应图像表征向量与上述目标图像表征向量之间相似度满足预设条件的物品图像，作为相符物品图像。综上，通过注意力机制网络模型和多层次特征融合模型，不仅可以提取多层次的图像特征信息，还可以通过多层次特征信息之间的特征信息融合，来提高后续待检索图像对应图像表征向量的特征表达能力，使得后续利用目标图像表征向量，可以从物品图像库中确定出准确的物品图像。说明书4/16 页8CN 116612264 A8附图说明0028结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附。
31、图是示意性的，元件和元素不一定按照比例绘制。0029图1是根据本公开的一些实施例的图像确定方法的一个应用场景的示意图；0030图2是根据本公开的图像确定方法的一些实施例的流程图；0031图3是根据本公开的图像确定方法的另一些实施例的流程图；0032图4是根据本公开的图像确定方法的一些实施例中的注意力机制层的示意图；0033图5是根据本公开的图像确定装置的一些实施例的结构示意图；0034图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。具体实施方式0035下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不。
32、应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。0036另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。0037需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。0038需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指。
33、出，否则应该理解为“一个或多个”。0039本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。0040本公开中所涉及的物品信息(例如物品画像)的收集、存储、使用等操作，在执行相应操作之前，相关组织或个人尽到包括开展物品信息安全影响评估、向物品信息主体履行告知义务、事先征得物品信息主体的授权同意等义务。0041下面将参考附图并结合实施例来详细说明本公开。0042图1是根据本公开一些实施例的图像确定方法的一个应用场景的示意图。0043在图1的应用场景中，首先，电子设备101可以对待检索物品图像102进行图像预处理，得到预处理向量1。
34、03。在本应用场景中，待检索物品图像102对应物品为“A物品”。预处理向量103可以是“1,23,45,1,3”。然后，电子设备101可以将上述预处理向量103输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型104，以输出层次特征向量集105。其中，上述层次特征向量集105中的各个层次特征向量之间对应的特征信息深度不同。在本应用场景中，层次特征向量集105包括：第一层次特征对应的层次特征向量1051，第二层次特征对应的层次特征向量1052，第三层次特征对应的层次特征向量1053。层次特征向量1051可以是“3,4,2,45,2,2,3,5,1”。层次特征向量1052可以是。
35、“7,1,2,0,21,4,0,1,1”。层次特征向量1053可以是“8,41,2,5,0,2,2,5,2”。接着，电子设备101可以将上述层次特征向量集105输入至图像表征向量生成模型中的多层次特征说明书5/16 页9CN 116612264 A9融合模型106，以输出多层次融合特征向量集107。在本应用场景中，多层次融合特征向量集107可以包括：多层次融合特征向量1071，多层次融合特征向量1072，多层次融合特征向量1073。多层次融合特征向量1071可以是“23,14,2,3,45,2,12,2”。多层次融合特征向量1072可以是“8,2,2,6,30,21,14,42”。多层次融合特。
36、征向量1073可以是“82,4,2,12,21,5,4,24”。进而，电子设备101可以根据上述多层次融合特征向量集107，利用上述图像表征向量生成模型，生成上述待检索物品图像102对应的图像表征向量，作为目标图像表征向量108。在本应用场景中，目标图像表征向量108可以是“23,114,3,415,112,22”。最后，电子设备101可以从物品图像库110中确定出对应图像表征向量与上述目标图像表征向量108之间相似度满足预设条件的物品图像，作为相符物品图像109。0044需要说明的是，上述电子设备101可以是硬件，也可以是软件。当电子设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集。
37、群，也可以实现成单个服务器或单个终端设备。当电子设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。0045应该理解，图1中的电子设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的电子设备。0046继续参考图2，示出了根据本公开的图像确定方法的一些实施例的流程200。该图像确定方法，包括以下步骤：0047步骤201，对待检索物品图像进行图像预处理，得到预处理向量。0048在一些实施例中，上述图像确定方法的执行主体(例如图1所示的电子设备101)可以对待检索物品图像进行图像预处理，得。
38、到预处理向量。其中，待检索物品图像可以是待从物品图像库中检索出相匹配图像的物品图像。实践中，待检索物品图像可以是商品图像。例如，待检索物品图像可以是目标品牌的上衣图像。物品图像库中存储着对应物品相关信息明确的多个物品图像。上述物品相关信息可以包括但不限于以下至少一项：物品主体名称，物品品类，物品价格，物品销量。0049作为示例，上述执行主体可以对待检索物品进行图像平滑处理，得到预处理向量。0050在一些实施例的一些可选的实现方式中，上述对待检索物品图像进行图像预处理，得到预处理向量，可以包括以下步骤：0051第一步，对上述待检索物品图像进行图像尺寸调整，得到调整后图像。0052作为示例，上述执。
39、行主体可以将上述待检索物品图像对应的图像尺寸调整为预定尺寸，得到调整后图像。其中，预定尺寸的大小是基于注意力机制网络模型的输入训练图像样本集中图像样本的大小生成的。0053第二步，对调整后图像进行线性卷积变换，以输出目标维度的图像，作为预处理向量。其中，目标维度可以是一维维度。即将调整后图像调整为一维维度的向量。0054作为示例，上述执行主体可以利用预定大小的卷积核和预定步长，对整后图像进行线性卷积，以生成一维维度的向量。0055步骤202，将预处理向量输入至图像表征向量生成模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集。0056在一些实施例中，上述执行主体可以将上述预。
40、处理向量输入至图像表征向量生成说明书6/16 页10CN 116612264 A10模型中的、用于提取多层次特征的注意力机制网络模型，以输出层次特征向量集。其中，注意力机制网络模型可以是通过注意力机制来提取多层次特征信息的网络模型。实践中，上述注意力机制网络模型可以是多个串行连接的Transformer模型。上述层次特征向量集中的各个层次特征向量之间对应的特征信息深度不同。图像表征向量生成模型可以是生成图像表征向量的神经网络模型。实践中，图像表征向量生成模型可以是多个串行连接的Transformer模型+多个串行连接的卷积神经网络。0057需要强调的是，层次特征向量集中的层次特征向量表征预处理。
41、向量中图像层次特征信息。0058在一些实施例的一些可选的实现方式中，上述图像表征向量生成模型对应的至少一个损失函数包括：多重相似性(MultiSimilar)损失函数和二阶关系损失(Second order loss)函数。图像表征向量生成模型对应的损失值为多重相似性损失函数输出的第一损失值和二阶关系损失(Second order loss)函数输出的第二损失值的加权和。0059步骤203，将层次特征向量集输入至图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集。0060在一些实施例中，上述执行主体可以将上述层次特征向量集输入至图像表征向量生成模型中的多层次特征融合模型，以。
42、输出多层次融合特征向量集。其中，多层次特征融合模型可以是将层次特征向量集中的各个层次特征向量进行向量融合的模型。0061作为示例，首先，上述执行主体可以利用图像表征向量生成模型中的多层次特征融合模型，依据对应特征信息的深度，对层次特征向量集中的层次特征向量进行向量分类，得到至少一个层次特征向量组集。然后，上述执行主体可以利用多层次特征融合模型，对至少一个层次特征向量组集中的每个层次特征向量组进行拼接处理，得到层次拼接向量组，作为多层次融合特征向量集。0062在一些实施例的一些可选的实现方式中，上述多层次特征融合模型包括：多层次特征融合层和多个融合特征处理层。多层次特征融合层可以是对层次特征向量。
43、集中的各个层次特征向量进行融合的网络层。实践中，多层次特征融合层可以是双层特征金字塔(Bi Feature Pyramid Networks，BiFPN)。多个融合特征处理层中的融合特征处理层可以是对多层次特征融合层的输出向量进行特征处理的网络层。例如，融合特征处理层可以包括：多层串行连接的卷积层+全连接层。0063可选地，上述将上述层次特征向量集输入至图像表征向量生成模型中的多层次特征融合模型，以输出多层次融合特征向量集，可以包括以下步骤：0064第一步，将上述层次特征向量集输入至上述多层次特征融合层，以输出特征融合向量集。0065第二步，将上述特征融合向量集输入至上述多个融合特征处理层，以。
44、输出上述多层次融合特征向量集。其中，特征融合向量集中的特征融合向量与多层次融合特征向量集中的多层次融合特征向量存在一一对应关系。0066作为示例，上述执行主体可以将上述特征融合向量集输入至上述多个串行连接的融合特征处理层，以输出上述多层次融合特征向量集。0067可选地，上述融合特征处理层集中的融合特征处理层包括：卷积层，池化层(pooling Layer)，随机失活层(dropout Layer)，全连接层(Fully Connected Layer)。实说明书7/16 页11CN 116612264 A11践中，池化层可以是广义均值池化层(GeM层)。上述融合特征处理层集中的融合特征处理层与。
45、特征融合向量集中的特征融合向量存在一一对应关系。0068可选地，上述将上述特征融合向量集输入至上述多个融合特征处理层，以输出上述多层次融合特征向量集，可以包括以下步骤：0069第一步，对于上述特征融合向量集中的每个特征融合向量，执行第一处理步骤：0070子步骤1，将上述特征融合向量输入至对应融合特征处理层包括的卷积层，以输出卷积向量。0071子步骤2，将上述卷积向量输入至对应融合特征处理层包括的池化层，以输出池化向量。0072子步骤3，将上述池化向量输入至对应融合特征处理层包括的随机失活层，以输出随机失活向量。0073子步骤4，将上述随机失活向量输入至对应融合特征处理层包括的全连接层，以输出全。
46、连接向量。0074第二步，确定上述特征融合向量集中的每个特征融合向量对应的特征层次信息。其中，特征层次信息表征特征融合向量包括的特征的特征提取深度。其中，特征层次信息可以是但不限于以下之一：高层次信息，中层次信息，低层次信息。高层次信息对应的特征信息要深于且更细致于中层次信息对应的特征信息。同样地，中层次信息对应的特征信息要深于且更细致于低层次信息对应的特征信息。0075第三步，根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成上述多层次融合特征向量集。0076作为示例，首先，上述执行主体可以依据每个特征融合向量对应的特征层次信息，对全连接向量集进行排序，得到全连接向量序列。接。
47、着，将全连接向量序列中的每两个相邻全连接向量进行向量拼接，以生成全连接拼接向量，得到全连接拼接向量集，作为多层次融合特征向量集。0077可选地，上述融合特征处理层集中的融合特征处理层还包括：批归一化层(Batch Normalization Layer)。0078可选地，上述根据每个特征融合向量对应的特征层次信息和所得到的全连接向量集，生成上述多层次融合特征向量集，可以包括以下步骤：0079第一步，根据每个特征融合向量对应的特征层次信息，对上述全连接向量集进行向量排序，得到全连接向量序列。0080作为示例，上述执行主体可以依据特征层次信息对应特征层次由高到低的顺序，对上述全连接向量集进行向量排。
48、序，得到全连接向量序列。0081第二步，对于上述全连接向量序列中的每个全连接向量，执行第二处理步骤：0082子步骤1，确定上述全连接向量对应的特征层次信息，作为目标特征层次信息。0083作为示例，首先，上述执行主体可以确定全连接向量对应的特征融合向量，作为目标特征融合向量。然后，上述执行主体可以确定目标特征融合向量对应的特征层次信息，作为目标特征层次信息。0084子步骤2，响应于确定上述全连接向量不为上述全连接向量序列中的、目标位置的全连接向量，且存在上述全连接向量与相邻近的、对应特征层次信息高于上述目标特征层说明书8/16 页12CN 116612264 A12次信息的全连接向量，将上述全连。
49、接向量与相邻近的、对应特征层次信息高于上述目标特征层次信息的全连接向量确定为目标全连接向量。0085其中，目标位置的全连接向量对应的特征层次信息最低。实践中，倘若全连接向量序列是以特征层次由高到低的顺序进行排序的，则目标位置为全连接向量序列中最后一个全连接向量的向量位置。则目标全连接向量为全连接向量序列中倒数第二个全连接向量。倘若全连接向量序列是以特征层次由低到高的顺序进行排序的，则目标位置为全连接向量序列中第一个全连接向量的向量位置。则目标全连接向量为全连接向量序列中第二个全连接向量。0086子步骤3，对上述目标全连接向量对应的全连接向量与上述全连接向量进行拼接，得到拼接向量。0087第三步。
50、，对于所得到的拼接向量集中的每个拼接向量，将上述拼接向量输入至对应融合特征处理层中的批归一化层，得到批归一化向量，作为多层次融合特征向量。0088步骤204，根据多层次融合特征向量集，利用图像表征向量生成模型，生成待检索物品图像对应的图像表征向量，作为目标图像表征向量。0089在一些实施例中，上述执行主体可以根据上述多层次融合特征向量集，生成上述待检索物品图像对应的图像表征向量，作为目标图像表征向量。其中，目标图像表征向量表征待检索物品图像的图像特征信息。0090作为示例，上述执行主体可以将多层次融合特征向量集输入至图像表征向量生成模型中的向量生成子模型，以输出上述待检索物品图像对应的图像表征。