图像标签识别方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627466A(43)申请公布日2021.11.09(21)申请号202110739386.8(22)申请日2021.06.30(71)申请人北京三快在线科技有限公司地址100083北京市海淀区北四环西路9号2106-030(72)发明人王崇锦(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人任亚娟(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图4页(54)发明名称图像标签识别方法、装置、电子设备及可读存储介质(57)摘要本发明公开了一种图像标签识别方法，包括：基于N个标签中每个标签的特征向量，通过图卷积网络获取N*d维的第一特征矩阵，所述图卷积网络中包含L个图卷积层，L为正整数，N为大于1的正整数，d表示特征向量的维度；通过基于注意力机制的特征表示网络获取目标图像的第二特征矩阵，所述基于注意力机制的特征表示网络中包括M个注意力模块，所述注意力模块为残差卷积注意力模块、卷积注意力模块中的任意一种，M为正整数；基于所述第一特征矩阵和所述第二特征矩阵，获取所述目标图像在每个所述标签下的置信度，得到所述目标图像的标签识别结果。取得了提高多标签预测准确性的有益效果。CN113627466ACN113627466A权利要求书1/3页1.一种图像标签识别方法，其特征在于，包括：基于N个标签中每个标签的特征向量，通过图卷积网络获取N*d维的第一特征矩阵，所述图卷积网络中包含L个图卷积层，L为正整数，N为大于1的正整数，d表示特征向量的维度；通过基于注意力机制的特征表示网络获取目标图像的第二特征矩阵，所述基于注意力机制的特征表示网络中包括M个注意力模块，所述注意力模块为残差卷积注意力模块、卷积注意力模块中的任意一种，M为正整数；基于所述第一特征矩阵和所述第二特征矩阵，获取所述目标图像在每个所述标签下的置信度，得到所述目标图像的标签识别结果。2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制的特征表示网络包括K个卷积层，K为大于或等于M的正整数，每个所述注意力模块连接在至少一个卷积层之后，且各个注意力模块彼此不级联；所述通过基于注意力机制的特征表示网络获取目标图像的第二特征矩阵的步骤，包括：以所述目标图像作为所述基于注意力机制的特征表示网络的输入，通过每个所述注意力模块获取所述目标图像在不同卷积阶段的全局特征；组合所述目标图像在不同卷积阶段的全局特征，并且经过全连接层，得到所述目标图像的第二特征矩阵。3.根据权利要求2所述的方法，其特征在于，所述基于注意力机制的特征表示网络还包括J个局部特征提取网络模块，J为小于或等于K的正整数，每个所述局部特征提取网络模块连接在至少一个卷积层之后，且各个局部特征提取网络模块彼此不级联；所述组合所述目标图像在不同卷积阶段的全局特征，并且经过全连接层，得到所述目标图像的第二特征矩阵的步骤，包括：组合所述目标图像在不同卷积阶段的全局特征，并且经过全连接层，得到所述目标图像的全局特征矩阵；通过每个所述局部特征提取网络模块，获取所述目标图像中不同局部区域的局部特征；组合所述目标图像中不同局部区域的局部特征，并且经过全连接层，得到所述目标图像的局部特征矩阵；组合所述局部特征矩阵和所述全局特征矩阵，并且经过全连接层，得到所述目标图像的第二特征矩阵。4.根据权利要求3所述的方法，其特征在于，所述局部特征提取网络模块包括至少一个局部特征提取网络分支，以及一个第一池化层，且同一局部特征提取网络模块下各个局部特征提取网络分支均与所述第一池化层连接，每个所述局部特征提取网络分支包含空间变换网络和第二池化层，且所述空间变换网络的输出为所述第二池化层的输入；所述通过每个所述局部特征提取网络模块，获取所述目标图像中不同局部区域的局部特征的步骤，包括：针对任一所述局部特征提取网络模块，通过所述局部特征提取网络模块中的每个局部特征提取网络分支，获取所述局部特征提取网络模块对应的局部区域的第一特征元素；通过第一池化层对每个所述局部特征提取网络分支输出的第一特征元素进行融合，得2CN113627466A权利要求书2/3页到所述局部区域的局部特征。5.根据权利要求4所述的方法，其特征在于，所述局部特征提取网络分支还包括Inception网络层，所述空间变换网络的输入与输出经过点乘运算后作为所述Inception网络的输入，所述Inception网络层的输出作为所述第二池化层的输入。6.根据权利要求1‑5中任一项所述的方法，其特征在于，所述注意力模块将通道注意力模块与空间注意力模块进行串行组合，且在所述残差卷积注意力模块中，所述残差卷积注