骨架的关键点估计方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110263797A(43)申请公布日2019.09.20(21)申请号201910543687.6(22)申请日2019.06.21(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人喻冬东王长虎(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06K9/46(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书7页附图3页(54)发明名称骨架的关键点估计方法、装置、设备及可读存储介质(57)摘要本公开实施例提供了一种骨架的关键点估计方法、装置、设备及计算机可读存储介质，该方法包括：将目标对象的图像输入至预设的网络，以获得目标对象的整体轮廓信息，预设的网络包括多个卷积阶段Stage，多个Stage包括第一Stage、第二Stage、第三Stage、第四Stage和第五Stage；根据整体轮廓信息及第四Stage输出的信息，确定目标对象的骨架各个部位躯干信息；根据骨架各个部位躯干信息和第三Stage输出的信息，确定骨架关键点坐标信息；根据骨架关键点坐标信息和第二Stage输出的信息，确定目标对象的骨架的关键点。该方法实现由粗到细对骨架的关键点的估计，提升了估计骨架的关键点的准确度。CN110263797ACN110263797A权利要求书1/2页1.一种骨架的关键点估计方法，其特征在于，包括：将目标对象的图像输入至预设的网络，以获得所述目标对象的整体轮廓信息，所述预设的网络包括多个卷积阶段Stage，所述多个Stage包括第一Stage、第二Stage、第三Stage、第四Stage和第五Stage；根据所述整体轮廓信息及所述第四Stage输出的信息，确定所述目标对象的骨架各个部位躯干信息；根据所述骨架各个部位躯干信息和所述第三Stage输出的信息，确定所述骨架关键点坐标信息；根据所述骨架关键点坐标信息和所述第二Stage输出的信息，确定所述目标对象的骨架的关键点。2.根据权利要求1所述的方法，其特征在于，所述将目标对象的图像输入到预设的网络，以获得所述目标对象的整体轮廓信息，包括：将目标对象的图像输入至所述第一Stage，以获得所述第一Stage输出的信息；根据所述第一Stage输出的信息，确定所述第二Stage输出的信息；根据所述第二Stage输出的信息，确定所述第三Stage输出的信息；根据所述第三Stage输出的信息，确定所述第四Stage输出的信息；将所述第四Stage输出的信息输入至所述第五Stage，以获得所述目标对象的整体轮廓信息，所述预设的网络为残差网络ResNet。3.根据权利要求1所述的方法，其特征在于，所述根据所述整体轮廓信息及所述第四Stage输出的信息，确定所述目标对象的骨架各个部位躯干信息，包括：根据所述整体轮廓信息，确定所述整体轮廓信息对应的特征图；对所述整体轮廓信息对应的特征图进行上采样，得到上采样后的特征图；将所述上采样后的特征图和所述第四Stage输出的信息输入至第一卷积层，得到所述目标对象的骨架各个部位躯干信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述骨架各个部位躯干信息和所述第三Stage输出的信息，确定所述骨架关键点坐标信息，包括：将所述骨架各个部位躯干信息进行上采样，得到上采样后的关键点的信息；将所述上采样后的关键点的信息和所述第三Stage输出的信息输入至第二卷积层，得到所述骨架关键点坐标信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述骨架关键点坐标信息和所述第二Stage输出的信息，确定所述目标对象的骨架的关键点，包括：将所述骨架关键点坐标信息进行上采样，得到上采样后的坐标信息；将所述上采样后的坐标信息和所述第二Stage输出的信息输入至第三卷积层，得到所述目标对象的骨架的关键点。6.一种骨架的关键点估计装置，其特征在于，包括：整体轮廓信息获得模块，用于将目标对象的图像输入至预设的网络，以获得所述目标对象的整体轮廓信息，所述预设的网络包括多个卷积阶段Stage，所述多个Stage包括第一Stage、第二Stage、第三Stage、第四Stage和第五Stage；躯干信息确定模块，用于根据所述整体轮廓信息及所述第四Stage输出的信息，确定所2CN110263797A权利要求书2/2页述目标对象的骨架各个部位躯干信息；坐标信息确定模块，用于根据所述骨架各个部位躯干信息和所述第三Stage输出的信息，确定所述骨架关键点坐标信息；关键点确定模块，用于根据所述骨架关键点坐标信息和所述第二Stage输出的信息，确定所述目标对