关键点检测方法、神经网络的训练方法、装置和设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972958A(43)申请公布日2022.08.30(21)申请号202210893712.5(22)申请日2022.07.27(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人杨黔生(74)专利代理机构北京市汉坤律师事务所11602专利代理师姜浩然吴丽丽(51)Int.Cl.G06V10/82(2022.01)G06V10/25(2022.01)G06V10/40(2022.01)G06V10/80(2022.01)G06V20/64(2022.01)权利要求书5页说明书15页附图7页(54)发明名称关键点检测方法、神经网络的训练方法、装置和设备(57)摘要本公开提供了一种关键点检测方法、神经网络的训练方法、装置和设备，涉及人工智能领域，具体涉及图像处理、计算机视觉和深度学习等技术领域，可应用于3D视觉、增强现实、虚拟现实等场景。关键点检测方法包括：获取关于目标图像的多个图像，针对每一个图像，在该图像中确定与目标对象对应的多个关键点；获取多个关键点各自的表征在图像中的二维位置的二维信息；基于多个关键点各自的二维信息，确定与该图像对应的第一特征；以及针对多个图像中的每一个图像，利用神经网络基于与多个图像对应的多个第一特征强化与该图像对应的第一特征，以得到与该图像对应的第二特征；以及基于第二特征，确定该图像中的多个关键点各自的表征三维坐标的三维信息。CN114972958ACN114972958A权利要求书1/5页1.一种关键点检测方法，其特征在于，所述方法包括：获取多个图像，所述多个图像是对目标对象进行连续拍摄而得到的；针对所述多个图像中的每一个图像，在该图像中确定与所述目标对象对应的多个关键点；获取所述多个关键点各自的二维信息，所述二维信息表征对应的关键点在该图像中的二维位置；基于所述多个关键点各自的二维信息，确定与该图像对应的第一特征；利用神经网络基于所确定的与所述多个图像对应的多个第一特征强化与该图像对应的第一特征，以得到与该图像对应的第二特征；以及基于所述第二特征，确定该图像中的多个关键点各自的三维信息，所述三维信息表征对应的关键点在所述目标对象所在的场景中的三维位置。2.根据权利要求1所述的方法，其特征在于，所述神经网络包括空间强化子网络，其中，基于所述多个关键点各自的二维信息，确定与该图像对应的第一特征，包括：针对所述多个关键点中的每一个关键点，基于该关键点的二维信息确定该关键点的关键点特征；针对所述多个关键点中的每一个关键点，利用所述空间强化子网络基于所确定的与所述多个关键点对应的多个关键点特征强化该关键点的关键点特征，以得到该关键点的强化后的关键点特征；以及基于所述多个关键点各自的强化后的关键点特征，确定与该图像对应的第一特征。3.根据权利要求2所述的方法，其特征在于，其中，针对所述多个关键点中的每一个关键点，利用所述空间强化子网络基于所确定的与所述多个关键点对应的多个关键点特征强化该关键点的关键点特征，以得到该关键点的强化后的关键点特征，包括：利用所述空间强化子网络基于自注意力机制对与所述多个关键点对应的多个关键点特征进行强化，以得到所述多个关键点各自的强化后的关键点特征。4.根据权利要求2或3所述的方法，其特征在于，基于所述多个关键点各自的强化后的关键点特征，确定与该图像对应的第一特征，包括：将所述多个关键点各自的强化后的关键点特征进行拼接，以得到与该图像对应的第一特征。5.根据权利要求1‑3中任一项所述的方法，其特征在于，所述二维信息包括以下中的至少一个：对应的关键点的二维坐标；或对应的关键点的二维坐标相对于对应的图像中的其他关键点的二维坐标的偏差。6.根据权利要求5所述的方法，其特征在于，针对多个图像中的每一个图像，获取所述多个关键点各自的二维信息，包括：针对所述多个图像中的每一个图像，获取该图像中的多个关键点中各自的图像坐标；以及基于该图像中的多个关键点在该图像中的位置或尺寸中的至少一个，对该图像中的多个关键点各自的图像坐标进行归一化，以得到该图像中的多个关键点各自的二维坐标。7.根据权利要求1‑3中任一项所述的方法，其特征在于，所述神经网络包括时序强化子2CN114972958A权利要求书2/5页网络，其中，利用神经网络基于所确定的与所述多个图像对应的多个第一特征强化与该图像对应的第一特征，以得到与该图像对应的第二特征，包括：利用所述时序强化子网络基于自注意力机制对与所述多个图像对应的多个第一特征进行强化，以得到所述多个图像各自对应的第二特征。8.根据权利要求1‑3中任一项所述的方法，其特征在于，所述多个图像的拍摄视角相同。9.根据权利要求1‑3中任一项所述的方法，其特征在于