关键点检测方法、系统、智能终端和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743177A(43)申请公布日2021.12.03(21)申请号202110175751.7G06N3/08(2006.01)(22)申请日2021.02.09(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人张夏杰蔚栋史培元安山(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人曹蓓刘剑波(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图5页(54)发明名称关键点检测方法、系统、智能终端和存储介质(57)摘要本公开提出一种关键点检测方法、系统、智能终端和存储介质，涉及图像检测技术领域。本公开的一种关键点检测方法，包括：在待处理图像中检测目标的图像，获取目标的初检测框；根据当前图像帧中的初检测框和历史图像帧的初检测框，通过图像稳定获取稳定检测框；根据稳定检测框在待处理图像中提取目标区域图像；根据目标区域图像，通过深度学习网络获取热力图，其中，热力图的通道数量与目标关键点的数量相匹配；通过对热力图的峰值点获取确定目标关键点的位置信息。通过这样的方法，能够基于准确的检测框提取过程，在截取后的图像的基础上进行关键点检测，提高了检测效率和准确度。CN113743177ACN113743177A权利要求书1/2页1.一种关键点检测方法，包括：在待处理图像中检测目标的图像，获取目标的初检测框；根据当前图像帧中的所述初检测框和历史图像帧的所述初检测框，通过图像稳定获取稳定检测框；根据所述稳定检测框在所述待处理图像中提取目标区域图像；根据所述目标区域图像，通过深度学习网络获取热力图，其中，所述热力图的通道数量与目标关键点的数量相匹配；通过对所述热力图的峰值点获取确定目标关键点的位置信息。2.根据权利要求1所述的方法，还包括：根据所述目标关键点的位置信息，将所述目标关键点渲染在所述待处理图像中，获取关键点检测图像。3.根据权利要求1或2所述的方法，其中，所述根据当前图像帧中的所述目标初检测框和历史图像帧中的目标初检测框，通过图像稳定获取手部稳定检测框包括：根据当前图像帧的所述初检测框，和从当前图像帧之前的第一帧到第预定数量帧的历史图像帧中的所述初检测框，通过加权平均获取所述稳定检测框；其中，所述当前图像帧对应的所述初检测框的权重最大，且距离当前图像帧的时间长度越短，所述历史图像帧中的所述初检测框的权重越大。4.根据权利要求1或2所述的方法，其中，所述根据所述稳定检测框在所述待处理图像中提取目标区域图像包括：将所述稳定检测框进行预定比例的放大；截取放大后的所述稳定检测框内的图像作为所述目标区域图像。5.根据权利要求1或2所述的方法，其中，所述根据所述目标区域图像，通过深度学习网络获取热力图包括：将所述目标区域图像处理为第一分辨率；将第一分辨率状态的所述目标区域图像输入深度学习算法的编码模块，获取高层特征；将所述编码模块的输出信息输入深度学习算法的解码模块以提升特征图的分辨率，获取第二分辨率状态的热力图，其中，所述第二分辨率小于所述第一分辨率。6.根据权利要求5所述的方法，其中，所述将第一分辨率状态的所述目标区域图像输入深度学习算法的编码模块，获取高层特征包括：提取所述第一分辨率状态的所述目标区域图像的低层特征；基于所述低层特征进行特征融合；对融合后的特征执行连续下采样，获取所述高层特征。7.根据权利要求5所述的方法，其中，所述将所述编码模块的输出信息输入解码模块以提升特征图的分辨率，获取第二分辨率状态的热力图包括：通过三层转置卷积操作将所述编码模块输出的特征图的分辨率提升至所述第二分辨率。8.根据权利要求1所述的方法，其中，所述通过对所述热力图的峰值点提取获取目标关2CN113743177A权利要求书2/2页键点的位置信息包括：针对所述热力图的每个通道的图像，分别提取峰值点，确定对应的目标关键点；获取确定的目标关键点的位置信息。9.根据权利要求5所述的方法，符合以下至少一项：所述第一分辨率为256*256；所述第二分辨率为64*64；或所述特征图的分辨率为8*8。10.根据权利要求1所述的方法，其中，所述目标图像为人体的手部图像，所述目标关键点为手部的关键点。11.一种关键点检测系统，包括：目标检测单元，被配置为在待处理图像中检测目标的图像，获取初检测框；框稳定单元，被配置为根据当前图像帧中的所述初检测框和历史图像帧中的所述初检测框，通过图像稳定获取稳定检测框；目标区域提取单元，被配置为根据所述稳定检测框在所述待处理图像中提取