人体姿态预测模型训练方法、人体姿态预测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113569627A(43)申请公布日2021.10.29(21)申请号202110658308.5(22)申请日2021.06.11(71)申请人北京旷视科技有限公司地址100080北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人杜昂昂王志成(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求书2页说明书11页附图3页(54)发明名称人体姿态预测模型训练方法、人体姿态预测方法及装置(57)摘要本申请提供了一种人体姿态预测模型训练方法、人体姿态预测方法及装置。该方法，包括：获取标注训练集和未标注训练集，标注训练集包括多张包含标注数据的第一人体图像，标注数据用于表示第一人体图像中的真实姿态信息；将第一人体图像输入人体姿态预测模型中的生成器，得到对应的第一人体姿态预测结果，并根据标注数据以及第一人体姿态预测结果计算生成器的第一损失值；将第二人体图像输入生成器，得到对应的第二人体姿态预测结果；根据第一人体图像、标注数据、第二人体图像以及第二人体姿态预测结果计算人体姿态预测模型中的判别器对应的第二损失值；根据第一损失值以及第二损失值对生成器以及判别器进行优化，得到人体姿态预测模型。CN113569627ACN113569627A权利要求书1/2页1.一种人体姿态预测模型训练方法，其特征在于，包括：获取标注训练集和未标注训练集，所述标注训练集包括多张包含标注数据的第一人体图像，所述标注数据用于表示所述第一人体图像中的真实姿态信息；所述未标注训练集包括多张不包含标注数据的第二人体图像；将所述第一人体图像输入人体姿态预测模型中的生成器，得到对应的第一人体姿态预测结果，并根据所述标注数据以及所述第一人体姿态预测结果计算所述生成器的第一损失值；将所述第二人体图像输入所述生成器，得到对应的第二人体姿态预测结果；根据所述第一人体图像、所述标注数据、所述第二人体图像以及所述第二人体姿态预测结果计算所述人体姿态预测模型中的判别器对应的第二损失值；根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，得到所述人体姿态预测模型。2.根据权利要求1所述的人体姿态预测模型训练方法，其特征在于，所述将所述第一人体图像输入人体姿态预测模型中的生成器，得到对应的第一人体姿态预测结果，并根据所述标注数据以及所述第一人体姿态预测结果计算所述生成器的第一损失值，包括：将所述第一人体图像输入所述生成器，得到对应多通道的预测人体姿态热图；其中，每个通道的预测人体姿态热图预测一个人体关键点位置；基于所述第一人体图像对应的标注数据生成对应的参考人体姿态热图；根据所述预测人体姿态热图以及所述参考人体姿态热图计算所述第一损失值。3.根据权利要求2所述的人体姿态预测模型训练方法，其特征在于，所述根据所述第一人体图像、所述标注数据、所述第二人体图像以及所述第二人体姿态预测结果计算所述人体姿态预测模型中的判别器对应的第二损失值，包括：将所述第一人体图像以及所述参考人体姿态热图作为真数据序列输入所述判别器，并将所述第二人体图像以及所述第二人体姿态预测结果作为假数据序列输入所述判别器，分别得到所述判别器输出的判别结果；根据所述判别结果计算所述第二损失值。4.根据权利要求1－3任一项所述的人体姿态预测模型训练方法，其特征在于，所述根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，包括：根据所述第一损失值以及所述第二损失值更新所述生成器的网络参数，并根据所述第二损失值更新所述判别器的网络参数。5.根据权利要求1－4任一项所述的人体姿态预测模型训练方法，其特征在于，所述获取标注训练集和未标注训练集，包括：获取包含标注数据的原始标注训练集以及不包含标注数据的原始未标注训练集；利用预先训练的人体检测模型分别对所述原始标注训练集中的图像以及所述原始未标注训练集中的图像进行人体检测，得到所述标注训练集中的所述第一人体图像以及所述未标注训练集中的所述第二人体图像；其中，所述第一人体图像以及所述第二人体图像均为单人图像。6.一种人体姿态预测方法，其特征在于，包括：获取第三人体图像；2CN113569627A权利要求书2/2页将所述第三人体图像输入采用上述权利要求1－5任一项所述的人体姿态预测模型训练方法得到的人体姿态预测模型中的生成器，得到第三人体姿态预测结果。7.一种人体姿态预测模型训练装置，其特征在于，包括：第一获取模块，用于获取标注训练集和未标注训练集，所述标注训练集包括多张包含标