对象属性的识别方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107784282A(43)申请公布日2018.03.09(21)申请号201711001804.3G06N3/08(2006.01)(22)申请日2017.10.24(71)申请人北京旷视科技有限公司地址100000北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人石娟峰张弛(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人宋南(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/66(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图4页(54)发明名称对象属性的识别方法、装置及系统(57)摘要本发明提供了一种对象属性的识别方法、装置及系统，涉及图像处理的技术领域，该方法包括：获取待处理的图像帧，其中，图像帧中包括待分析的目标对象；通过目标神经网络在图像帧中提取图像帧的全局特征信息，以及提取图像帧中待分析区域的局部特征信息，待分析区域中包括目标对象的局部区域；结合局部特征信息和全局特征信息，确定目标对象中局部区域的属性信息，本发明缓解了现有的属性识别技术中由于引入了大量的无用信息导致的局部相关属性识别精度较差的技术问题。CN107784282ACN107784282A权利要求书1/2页1.一种对象属性的识别方法，其特征在于，包括：获取待处理的图像帧，其中，所述图像帧中包括待分析的目标对象；通过目标神经网络提取所述图像帧的全局特征信息，以及在所述图像帧中提取局部特征信息，所述局部特征信息为所述图像帧中待分析区域的特征信息，所述待分析区域为包括所述目标对象的局部区域的图像区域；结合所述局部特征信息和所述全局特征信息，确定所述目标对象中局部区域的属性信息。2.根据权利要求1所述的方法，其特征在于，在所述图像帧中提取局部特征信息包括：在所述图像帧中提取所述待分析区域的区域信息，其中，所述区域信息包括所述待分析区域的高度，所述待分析区域的宽度，所述待分析区域的一个顶点在所述图像帧中的坐标信息；结合所述区域信息和所述全局特征信息确定所述局部特征信息。3.根据权利要求2所述的方法，其特征在于，结合所述区域信息和所述全局特征信息确定所述局部特征信息包括：基于所述区域信息对所述全局特征信息进行池化处理，以在所述全局特征信息中提取所述局部特征信息。4.根据权利要求2所述的方法，其特征在于，所述目标神经网络包括：基础卷积神经网络，第一卷积神经网络分支和第二卷积神经网络分支，其中，所述第一卷积神经网络分支和所述第二卷积神经网络分支的网络输入端分别与所述基础卷积神经网络的网络输出端相连接。5.根据权利要求4所述的方法，其特征在于，在所述图像帧中提取所述待分析区域的区域信息包括：通过所述基础卷积神经网络对所述图像帧进行浅层学习，学习得到浅层特征信息；通过预先训练的所述第一卷积神经网络分支对所述浅层特征信息进行第一深度学习，得到所述待分析区域的区域信息。6.根据权利要求5所述的方法，其特征在于，所述待分析区域的数量为多个，通过预先训练的所述第一卷积神经网络分支对所述浅层特征信息进行第一深度学习，得到所述待分析区域的区域信息包括：通过所述第一卷积神经网络分支中包含的每个卷积神经网络对所述图像帧的浅层特征信息分别进行所述第一深度学习，得到每个所述待分析区域的区域信息。7.根据权利要求5所述的方法，其特征在于，提取所述图像帧的全局特征信息包括：通过预先训练的所述第二卷积神经网络分支对所述浅层特征信息进行第二深度学习，得到所述图像帧的全局特征信息。8.根据权利要求1至7中任一项所述的方法，其特征在于，结合所述局部特征信息和所述全局特征信息，确定所述目标对象中局部区域的属性信息包括：将所述局部特征信息与所述全局特征信息进行合并，合并之后得到目标特征信息；对所述目标特征信息进行识别，得到所述属性信息。9.根据权利要求8所述的方法，其特征在于，将所述局部特征信息与所述全局特征信息进行合并，合并之后得到所述目标特征信息包括：2CN107784282A权利要求书2/2页对所述局部特征信息的张量与所述全局特征信息的张量进行叠加处理，并将叠加结果作为所述目标特征信息；或者对所述局部特征信息的张量与所述全局特征信息的张量进行加权合并，并将合并结果作为所述目标特征信息。10.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：通过损失函数，计算目标差值，其中，所述目标差值包括以下至少之一：所述目标神经网络预测出的所述待分析区域的区域信息与其真实值之间的差值，所述目标神经网络预测出的所述属性信息与其真实值之间的差值；基于所述目标差值对所述目标神经网络中的训练