图像分类方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082930A(43)申请公布日2022.09.20(21)申请号202110265357.2(22)申请日2021.03.11(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人谢一宾侯昊迪(74)专利代理机构深圳翼盛智成知识产权事务所(普通合伙)44300专利代理师彭绪坤(51)Int.Cl.G06V30/14(2022.01)G06V30/18(2022.01)G06V30/19(2022.01)G06N3/08(2006.01)权利要求书3页说明书15页附图7页(54)发明名称图像分类方法、装置、电子设备和存储介质(57)摘要本发明公开了一种图像分类方法、装置、电子设备和存储介质；本发明中当检测到目标图像中对象部位缺失时，获取目标图像对应的目标文本；对目标图像和目标文本进行特征提取，得到目标图像的图像特征和目标文本的文本特征；对目标图像的图像特征和目标文本的文本特征进行特征融合，得到目标融合特征；根据目标融合特征对目标图像的场景进行识别，得到场景信息；基于场景信息确定目标图像的图像类别。当检测到目标图像中对象部位缺失时，结合对应的目标文本的文本特征来识别目标图像的场景，基于目标图像的场景信息对目标图像进行分类；由此，该方案可以提升图像分类的准确率。CN115082930ACN115082930A权利要求书1/3页1.一种图像分类方法，其特征在于，包括：当检测到目标图像中对象部位缺失时，获取所述目标图像对应的目标文本；对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征；对所述目标图像的图像特征和所述目标文本的文本特征进行特征融合，得到目标融合特征；根据所述目标融合特征对所述目标图像的场景进行识别，得到场景信息；基于所述场景信息确定所述目标图像的图像类别。2.如权利要求1所述的图像分类方法，其特征在于，所述对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征，包括：在特征提取层对所述目标图像和所述目标文本进行特征提取；所述特征提取层包括图像子网络和文本子网络，所述在特征提取层对所述目标图像和所述目标文本进行特征提取，包括：采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征；采用训练好的文本子网络对所述目标文本进行文本特征提取，得到所述目标文本的文本特征。3.如权利要求2所述的图像分类方法，其特征在于，所述在特征提取层对所述目标图像和所述目标文本进行特征提取之前，还包括：获取预设模型，所述预设模型包括特征提取层、全连接层和输出层；获取训练集，所述训练集包括训练图像和所述训练图像对应的训练文本；基于所述训练图像训练所述预设的图像子网络，得到训练好的图像子网络；基于所述训练文本训练所述预设的文本子网络，得到训练好的文本子网络；采用所述训练好的图像子网络和所述训练好的文本子网络，对所述训练图像和所述训练文本进行特征提取，得到所述训练图像的图像特征和所述训练文本的文本特征；基于所述训练图像的图像特征和所述训练文本的文本特征训练预设的全连接层和输出层，得到训练好的全连接层和输出层。4.如权利要求2所述的图像分类方法，其特征在于，所述训练好的图像子网络包括浅层特征提取层、采样层、深层特征提取层和池化层，采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征，包括：采用所述浅层特征提取层对所述目标图像进行浅层特征提取，得到浅层特征；采用所述采样层对所述浅层特征进行采样，得到采样特征；采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征；采用所述池化层对所述深层特征进行池化，得到所述目标图像的图像特征。5.如权利要求4所述的图像分类方法，其特征在于，所述采用所述采样层对所述浅层特征进行采样，得到采样特征，包括：在所述浅层特征上移动采样区域，得到移动后采样区域，其中，所述移动后采样区域与移动前采样区域部分相交；对所述浅层特征上的移动后采样区域进行采样操作，得到采样特征。2CN115082930A权利要求书2/3页6.如权利要求4所述的图像分类方法，其特征在于，所述深层特征提取层包括多个子特征提取层，所述采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征，包括：将当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行特征融合，得到融合特征矩阵；将所述融合特征矩阵输入下一子特征提取层进行深层特征提取；获取最后端子特征提取层输出的特征矩阵，得到深层特征。7.如权利要求6所述的图像分类方法，其特征在于，所述将当前子特征提取层输出的特征矩阵与前