图像处理方法、图像处理装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109448007A(43)申请公布日2019.03.08(21)申请号201811301160.4(22)申请日2018.11.02(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人林孟潇张祥雨(74)专利代理机构北京市柳沈律师事务所11105代理人彭久云(51)Int.Cl.G06T7/11(2017.01)权利要求书2页说明书13页附图5页(54)发明名称图像处理方法、图像处理装置及存储介质(57)摘要一种图像处理方法、图像处理装置及存储介质。该图像处理方法包括：获取输入图像中的检测框，基于检测框抠取检测框图像，检测框是针对待处理目标的检测所获得的；提取检测框图像的图像特征；确定输入图像中的多个待预测点以及多个待预测点的坐标，对多个待预测点的坐标组成的坐标向量进行换算，以获取多个待预测点的坐标特征；基于所述图像特征与坐标特征获取输入图像的混合特征；基于输入图像的混合特征判断输入图像中的待预测点是否是关键点。该图像处理方法可以避免抠取检测框外一定区域中的图像，从而可以提高多人场景下姿态估计的准确度以及节约该方法运行时的内存。CN109448007ACN109448007A权利要求书1/2页1.一种图像处理方法，包括：获取输入图像中的检测框，基于所述检测框抠取检测框图像，所述检测框是针对待处理目标的检测所获得的；提取所述检测框图像的图像特征；确定所述输入图像中的多个待预测点以及所述多个待预测点的坐标，对所述多个待预测点的坐标组成的坐标向量进行换算，以获取所述多个待预测点的坐标特征；基于所述图像特征与所述坐标特征获取所述输入图像的混合特征；基于所述输入图像的混合特征判断所述输入图像中的所述待预测点是否是关键点。2.根据权利要求1所述的图像处理方法，其中，将包括所述检测框所在的区域以及所述检测框外选定区域的待预测区域划分为网格，所述待预测点包括所述待预测区域中的格点。3.根据权利要求1所述的图像处理方法，其中，所述待处理目标为人体，所述关键点为所述人体的关节点。4.根据权利要求1所述的图像处理方法，其中，所述提取的所述检测框图像的图像特征具有第一维数，所述图像处理方法还包括：对所述第一维数的图像特征进行降维操作，以获得第二维数的图像特征。5.根据权利要求4所述的图像处理方法，其中，通过坐标网络对所述多个待预测点的坐标组成的坐标向量进行换算；其中，所述坐标网络为神经网络。6.根据权利要求5所述的图像处理方法，其中，对所述多个待预测点的坐标组成的坐标向量进行换算包括：对所述多个待预测点的坐标组成的坐标向量进行升维操作以获取所述坐标特征，其中，所述坐标特征的维数与所述图像特征的所述第二维数相同。7.根据权利要求1-6任一所述的图像处理方法，其中，利用预测器判断所述混合特征中坐标特征对应的待预测点是否为关键点；其中，所述预测器为神经网络。8.根据权利要求7所述的图像处理方法，其中，所述混合特征表示为：其中，f(img,coord)表示所述混合特征，h(img)表示所述检测框图像的图像特征，g(coord)表示坐标特征，所述坐标特征与所述图像特征的维数相同，表示按位相乘。9.根据权利要求8所述的图像处理方法，其中，所述坐标特征表示为：g(coord)＝w1ReLU(w2ReLU(w3t))其中，w1是M*Q维的矩阵，w2表示Q*K维的矩阵，w3表示K*2维的矩阵，t为一组2维向量，表示所述多个待预测点归一化后的坐标组成的坐标向量，M为大于3的整数，Q，K为大于等于1的整数。10.根据权利要求9所述的图像处理方法，其中，所述待预测点归一化后的坐标表示为：2CN109448007A权利要求书2/2页其中，表示所述待预测点归一化后的坐标，(x0,y0)表示所述检测框第一参考位置处的坐标，(xi,yi)表示所述待预测点归一化前的坐标，h表示所述检测框的高度，q表示所述检测框的宽度。11.一种图像处理装置，包括：检测框获取单元，配置为获取输入图像中的检测框，基于所述检测框抠取检测框图像，所述检测框是针对对待处理目标进行检测所获得的；特征提取单元，配置为提取所述检测框图像的图像特征；换算单元，配置为确定所述输入图像中的多个待预测点以及所述多个待预测点的坐标，对所述多个待预测点的坐标组成的坐标向量进行换算，以获取所述多个待预测点的坐标特征；混合特征获取单元，配置为基于所述图像特征与所述坐标特征获取所述输入图像的混合特征；以及预测单元，配置为基于所述输入图像的混合特征判断所述输入图像中的所述待预测点是否是关键点。12.根据权利要求11所述的图像处理装置，其中，所述待处理目标为人体，所述关键点为所述人体的关节点。13.一