姿态估计及网络训练方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109711329A(43)申请公布日2019.05.03(21)申请号201811592616.7(22)申请日2018.12.25(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人李文博王志成俞刚(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书5页说明书26页附图7页(54)发明名称姿态估计及网络训练方法、装置和系统及存储介质(57)摘要本发明实施例提供一种姿态估计网络的训练方法、装置和系统与姿态估计方法、装置和系统以及存储介质。训练方法包括：获取N1个样本图像和标注数据；利用N1个样本图像和标注数据对姿态估计网络进行训练，其中，利用N1个样本图像和标注数据对姿态估计网络进行训练包括：在训练过程的每次迭代中，执行第二操作。利用第二操作可以针对难样本进行重点优化。因此，可以有效提高关节点的检测精度。CN109711329ACN109711329A权利要求书1/5页1.一种姿态估计网络的训练方法，包括：获取N1个样本图像和标注数据，其中，所述标注数据包括与所述N1个样本图像分别对应的关节点位置数据，N1≥1；利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练，其中，所述姿态估计网络包括M个U型网络结构，所述M个U型网络结构中的每一个包括下采样模块和上采样模块，并且第i个U型网络结构的下采样模块的输入数据基于第i-1个U型网络结构的上采样模块输出的Ni个样本图像的特征图获得，其中，i＝2,3,……,M，并且其中，M≥2，Ni≤N1；其中，所述M个U型网络结构中的至少一个U型网络结构还包括热力图模块，所述利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练包括：在训练过程的每次迭代中，执行第二操作；其中，所述第二操作包括第一损失计算操作和参数优化操作，所述第一损失计算操作包括：对于第一热力图集合中的每一组关节点热力图，对于输出该组关节点热力图的第k个U型网络结构的输入数据所对应的Nk个样本图像中的每一个，根据该组关节点热力图中与该样本图像的P个关节点分别对应的P个关节点热力图以及该样本图像的关节点位置数据，计算与该组关节点热力图相关联的、与该样本图像的P个关节点分别对应的P个损失值，其中，1≤k≤M，P≥2，所述第一热力图集合包括所述至少一个U型网络结构的热力图模块输出的所有组关节点热力图中的至少一组关节点热力图，同一U型网络结构输出的所有组关节点热力图中的每一组具有相同的分辨率且不同组具有不同的分辨率；忽略所述P个损失值中除预定损失值以外的损失值，根据所述预定损失值，计算与该组关节点热力图相关联的、该样本图像的损失值，其中，所述预定损失值为所述P个损失值中最大的Pk个损失值，其中，1≤Pk＜P；根据与该组关节点热力图相关联的、所述Nk个样本图像的损失值，计算与该组关节点热力图相关联的损失值；所述参数优化操作包括：根据与所述至少一个U型网络结构输出的所有组关节点热力图分别关联的损失值，计算所述姿态估计网络的总损失值；根据所述总损失值优化所述姿态估计网络的参数。2.如权利要求1所述的方法，其中，对于所述M个U型网络结构中的每一个，该U型网络结构的下采样模块包括Q个卷积子模块，上采样模块包括Q-1个上采样子模块，该U型网络结构还包括与所述Q个卷积子模块一一对应的Q个连接支路，下采样模块的第q个卷积子模块用于输出第q组下采样特征图，第q个连接支路用于接收第q组下采样特征图并输出第q组支路特征图，上采样模块的第q个上采样子模块用于接收第q+1组上采样特征图并输出第q组上采样特征图，其中，在1≤q＜Q的情况下，该U型网络结构的上采样模块中的第q个上采样子模块用于对第q+1组上采样特征图进行上采样，将上采样获得的特征图直接或经过卷积之后与第q组支路特征图进行结合，以获得第q组上采样特征图；在q＝1的情况下，将第q组上采样特征图输出2CN109711329A权利要求书2/5页至下一个U型网络结构；在1＜q＜Q的情况下，将第q组上采样特征图输出至上采样模块中的第q-1个上采样子模块；在q＝Q的情况下，该U型网络结构的第q个连接支路输出的特征图为第q组上采样特征图；其中，1≤q≤Q，Q≥2。3.如权利要求2所述的方法，其中，所述利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练还包括：在训练过程的每次迭代中，还执行以下操作：将第一特征图、第二特征图和第三特征图结合，其中，所述第一特征图基于第l个U型网络结构所对应的第q组下采样特征图中的、Nl+n个样本图像