图像内容物品定位方法及其装置、设备、介质、产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140626A(43)申请公布日2022.03.04(21)申请号202111315772.0G06N3/08(2006.01)(22)申请日2021.11.08(71)申请人广州华多网络科技有限公司地址511442广东省广州市番禺区南村镇万达广场B1栋24层(72)发明人李保俊(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673代理人王增鑫(51)Int.Cl.G06V10/72(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书15页附图4页(54)发明名称图像内容物品定位方法及其装置、设备、介质、产品(57)摘要本申请公开一种图像内容物品定位方法及其装置、设备、介质、产品，所述方法包括：获取目标图像的特征图，特征图由多个平面点构成，每个平面点均为高维向量；计算两两平面点之间的相似度，以该相似度构造相似状态矩阵，使该相似状态矩阵中的元素表征其行坐标相对应的平面点与其列坐标相对应的平面点之间相似或不相似；以相似平面点的多寡由少至多预选多个平面点构成初步集合，在其中查找与具有最少相似平面点的种子平面点构成相似的平面点构成种子集；统计特征图中每个平面点与种子集中所有平面点的相似度的和值，当和值大于预设阈值时判定相应的平面点属于物品区域。本申请可以实现对目标图像中内容物品的有效定位，具有广泛通用性。CN114140626ACN114140626A权利要求书1/2页1.一种图像内容物品定位方法，其特征在于，包括如下步骤：获取表征目标图像的深层语义信息的特征图，所述特征图由多个平面点构成，每个平面点均为高维向量；计算两两平面点之间的相似度，以该相似度构造相似状态矩阵，使该相似状态矩阵中的每个元素表征其行坐标相对应的平面点与其列坐标相对应的平面点之间相似或不相似；以相似平面点的多寡由少至多预选多个平面点构成初步集合，在初步集合中查找与具有最少相似平面点的种子平面点构成相似的平面点构成种子集；统计特征图中每个平面点与种子集中所有平面点的相似度的和值，当该和值大于预设阈值时，判定相应的平面点属于物品区域，获得该物品区域相应的图像。2.根据权利要求1所述的图像内容物品定位方法，其特征在于，获取表征目标图像的深层语义信息的特征图，包括如下步骤：获取目标图像；采用预训练的图像特征交互模型将目标图像切割为多个细分图像并分别提取图像特征向量；采用所述图像特征交互模型将所述细分图像的图像特征向量进行特征交互，获得中间向量；采用所述图像特征交互模型将所述中间向量归一化为特征图，使该特征图由多个平面点构成，每个平面点均为高维向量。3.根据权利要求1所述的图像内容物品定位方法，其特征在于，计算两两平面点之间的相似度，以该相似度构造相似状态矩阵，包括如下步骤：计算所述特征图中两两平面点之间的相似度，构造出相应的相似数值矩阵，所述相似数值矩阵中，每个元素存储其行坐标相对应的平面点与其列坐标相对应的平面点之间相似度数值；根据所述相似数值矩阵，构造出相应的相似状态矩阵，所述相似状态矩阵中的每个元素表征其行坐标相对应的平面点与其列坐标相对应的平面点之间相似或不相似。4.根据权利要求3所述的图像内容物品定位方法，其特征在于，所述相似数值矩阵中的相似度数值被归一化为[‑1,1]区间，所述相似状态矩阵中以数值1表示相似，以数值0表示不相似。5.根据权利要求1所述的图像内容物品定位方法，其特征在于，以相似平面点的多寡由少至多预选多个平面点构成初步集合，在初步集合中查找与具有最少相似平面点的种子平面点构成相似的平面点构成种子集，包括如下步骤：根据所述相似状态矩阵，统计所述特征图中每个平面点的点相似总量，所述点相似总量表示与该平面点构成相似的平面点的总数量，获得由各个平面点的相似总构成的相似总量序列；对所述相似总量序列进行逆向排序，以点相似总量由少至多预选出额定数量的多个平面点，构造为初步集合；将该初步集合中点相似总量最小的平面点确定为种子点，从初步集合中选取与该种子点构成相似的所有平面点，构造为种子集。6.根据权利要求3所述的图像内容物品定位方法，其特征在于，统计特征图中每个平面2CN114140626A权利要求书2/2页点与种子集中所有平面点的相似度的和值，当该和值大于预设阈值时，判定相应的平面点属于物品区域，获得该物品区域相应的图像，包括如下步骤：根据所述相似数值矩阵，统计特征图中每个平面点与种子集中所有平面点的相似度的和值；判断该和值是否大于预设阈值，当该和值大于该预设阈值时，即确定相应的平面点属于物品区域；根据所述物品区域从所述目标图像中提取相应