图像检测方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111028283A(43)申请公布日2020.04.17(21)申请号201911266589.9(22)申请日2019.12.11(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人孙伟(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06T7/55(2017.01)权利要求书2页说明书9页附图4页(54)发明名称图像检测方法、装置、设备及可读存储介质(57)摘要本申请实施例提供了图像检测方法、装置、设备及计算机可读存储介质，该方法包括：获取包括待测对象的原始图像和包括待测对象的外表面的参考图，原始图像包括色彩图像和深度图像；根据色彩图像和参考图，确定待测对象在色彩图像中对应的包围框；根据包围框，确定待测对象的关键点的位置坐标；根据关键点的位置坐标和深度图像，确定待测对象的三维位置信息。该方法通过引入参考图，实现了准确检测得到待测对象的位置信息。CN111028283ACN111028283A权利要求书1/2页1.一种图像检测方法，其特征在于，包括：获取包括待测对象的原始图像和包括待测对象的外表面的参考图，所述原始图像包括色彩图像和深度图像；根据所述色彩图像和所述参考图，确定所述待测对象在所述色彩图像中对应的包围框；根据所述包围框，确定所述待测对象的关键点的位置坐标；根据所述关键点的位置坐标和所述深度图像，确定所述待测对象的三维位置信息。2.根据权利要求1所述的方法，其特征在于，根据所述色彩图像和所述参考图，确定所述待测对象对应的包围框，包括：将所述色彩图像输入至第一特征提取层，得到第一特征图；将所述参考图输入至第二特征提取层，得到第二特征图；对所述第一特征图和所述第二特征图进行特征匹配，确定所述包围框。3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征图和所述第二特征图进行特征匹配，确定所述包围框，包括：根据所述第一特征图和所述第二特征图在空间上的对应关系，对所述第一特征图和所述第二特征图进行特征匹配，得到第三特征图；将所述第一特征图和所述第三特征图进行叠加，确定所述包围框。4.根据权利要求1所述的方法，其特征在于，所述根据所述包围框，确定所述待测对象的关键点的位置坐标，包括：截取包围框所对应的区域，得到第一图像；对所述第一图像和参考图进行上采样，得到包括所述待测对象的关键点的热力图；根据所述热力图，确定所述关键点的位置坐标。5.根据权利要求4所述的方法，其特征在于，所述根据所述热力图，确定所述关键点的位置坐标，包括：根据所述热力图，得到所述热力图中各热力图中像素值最大的点的坐标，将各热力图中像素值最大的点的坐标作为所述关键点的位置坐标，所述热力图包括以所述关键点为中心的高斯分布图，所述关键点对应所述参考图的顶角。6.根据权利要求5所述的方法，其特征在于，所述根据所述关键点的位置坐标和所述深度图像，确定所述待测对象的三维位置信息，包括：根据四个关键点的位置坐标，得到四个关键点形成的四边形中的多个点的位置坐标；根据所述四边形中的多个点的位置坐标和所述深度图像，得到所述四边形中的多个点的三维位置信息；根据所述四边形中的多个点的三维位置信息和所述四个关键点的位置坐标，确定所述四个关键点的三维位置信息。7.根据权利要求6所述的方法，其特征在于，所述根据所述四边形中的多个点的三维位置信息和所述四个关键点的位置坐标，确定所述四个关键点的三维位置信息，包括：根据所述四边形中的多个点的三维位置信息，对所述多个点进行平面拟合，得到拟合平面；根据所述多个点的三维位置信息和所述拟合平面，确定所述多个点中的各点和所述拟2CN111028283A权利要求书2/2页合平面之间的误差值；当所述多个点中与所述拟合平面之间的误差值小于预设的阈值的点的数量不小于预设的数量，根据所述与所述拟合平面之间的误差值小于预设的阈值的点的三维位置信息和所述四个关键点的位置坐标，得到所述四个关键点的三维位置信息。8.一种图像检测装置，其特征在于，包括：第一处理模块，用于获取包括待测对象的原始图像和包括待测对象的外表面的参考图，所述原始图像包括色彩图像和深度图像；第二处理模块，用于根据所述色彩图像和所述参考图，确定所述待测对象在所述色彩图像中对应的包围框；第三处理模块，用于根据所述包围框，确定所述待测对象的关键点的位置坐标；第四处理模块，用于根据所述关键点的位置坐标和所述深度图像，确定所述待测对象的三维位置信息。9.一种电子设备，其特征在于，包括：处理器、存储器；所述存储器，用于存储计算机程序；所述处理器，用于通过调用所述计算机程序，执行上述权利要求1-7中任一项所述图像检测方法。