姿态估计及网络训练方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109711462A(43)申请公布日2019.05.03(21)申请号201811592835.5(22)申请日2018.12.25(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人李文博王志成俞刚(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/62(2006.01)G06K9/00(2006.01)权利要求书3页说明书24页附图7页(54)发明名称姿态估计及网络训练方法、装置和系统及存储介质(57)摘要本发明实施例提供一种姿态估计网络的训练方法、装置和系统与姿态估计方法、装置和系统以及存储介质。训练方法包括：获取N1个样本图像和标注数据；利用N1个样本图像和标注数据对姿态估计网络进行训练，其中，利用N1个样本图像和标注数据对姿态估计网络进行训练包括：在训练过程的每次迭代中，执行第一操作。利用第一操作可以针对难样本进行重点优化。因此，可以有效提高关节点的检测精度。CN109711462ACN109711462A权利要求书1/3页1.一种姿态估计网络的训练方法，包括：获取N1个样本图像和标注数据，其中，所述标注数据包括与所述N1个样本图像分别对应的关节点位置数据，N1≥1；利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练，其中，所述姿态估计网络包括M个U型网络结构，所述M个U型网络结构中的每一个包括下采样模块和上采样模块，并且第i个U型网络结构的下采样模块的输入数据基于第i-1个U型网络结构的上采样模块输出的Ni个样本图像的特征图获得，其中，i＝2,3,……,M，并且其中，M≥2，Ni≤N1；其中，所述M个U型网络结构中的至少一个U型网络结构还包括热力图模块，所述利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练包括：在训练过程的每次迭代中，执行第一操作；其中，所述第一操作包括：根据第j个U型网络结构的热力图模块输出的Nj个样本图像的关节点热力图以及所述Nj个样本图像的关节点位置数据，计算所述Nj个样本图像中的每一个的关节点检测评分，其中，1≤j≤M-1；忽略所述第j个U型网络结构的上采样模块输出的特征图中除预定特征图以外的特征图，基于所述预定特征图，获得第j+1个U型网络结构的下采样模块的输入数据，其中，所述预定特征图为与关节点检测评分最低的Nj+1个样本图像相对应的特征图，1≤Nj+1＜Nj。2.如权利要求1所述的方法，其中，对于所述M个U型网络结构中的每一个，该U型网络结构的下采样模块包括Q个卷积子模块，上采样模块包括Q-1个上采样子模块，该U型网络结构还包括与所述Q个卷积子模块一一对应的Q个连接支路，下采样模块的第q个卷积子模块用于输出第q组下采样特征图，第q个连接支路用于接收第q组下采样特征图并输出第q组支路特征图，上采样模块的第q个上采样子模块用于接收第q+1组上采样特征图并输出第q组上采样特征图，其中，在1≤q＜Q的情况下，该U型网络结构的上采样模块中的第q个上采样子模块用于对第q+1组上采样特征图进行上采样，将上采样获得的特征图直接或经过卷积之后与第q组支路特征图进行结合，以获得第q组上采样特征图；在q＝1的情况下，将第q组上采样特征图输出至下一个U型网络结构；在1＜q＜Q的情况下，将第q组上采样特征图输出至上采样模块中的第q-1个上采样子模块；在q＝Q的情况下，该U型网络结构的第q个连接支路输出的特征图为第q组上采样特征图；其中，1≤q≤Q，Q≥2。3.如权利要求2所述的方法，其中，所述利用所述N1个样本图像和所述标注数据对姿态估计网络进行训练还包括：在训练过程的每次迭代中，还执行以下操作：将第一特征图、第二特征图和第三特征图结合，其中，所述第一特征图基于第l个U型网络结构所对应的第q组下采样特征图中的、Nl+n个样本图像的特征图获得，所述第二特征图基于所述第l个U型网络结构所对应的第q组上采样特征图中的、所述Nl+n个样本图像的特征图获得，所述第三特征图基于所述第l+n个U型网络结构所对应的第q组下采样特征图中的、所述Nl+n个样本图像的特征图获得；在1≤q＜Q的情况下，2CN109711462A权利要求书2/3页将结合后的特征图输入所述第l+n个U型网络结构的下采样模块中的第q+1个卷积子模块；在q＝Q的情况下，将结合后的特征图输入所述第l+n个U型网络结构的第q个连接支路；其中，1≤l≤M-1，1≤n≤M-l。4.如权利要求3所述的方法，其中，l＝1,2,……,M-1，n＝1。5.如权利要求3所述的方法，其中，所述第一特征图、所述第二特征图和所述第三特征图具有相同的通道数和分辨率