模型训练、视频处理方法，装置，设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688907A(43)申请公布日2021.11.23(21)申请号202110983376.9H04N21/44(2011.01)(22)申请日2021.08.25(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人陈冠英叶晓青谭啸孙昊(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/10(2017.01)H04N5/262(2006.01)权利要求书4页说明书11页附图6页(54)发明名称模型训练、视频处理方法，装置，设备以及存储介质(57)摘要本公开提供了模型训练、视频分类方法，装置，设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，具体可用于虚拟人和增强现实场景下。具体实现方案为：对样本视频进行分析，确定样本视频中的多个人体图像帧；确定各人体图像帧对应的人体相关参数以及相机相关参数；根据人体相关参数、相机相关参数以及初始模型，确定与各人体图像帧对应的图像平面的预测图像参数，初始模型用于表征人体相关参数、相机相关参数与图像参数的对应关系；根据样本视频中各人体图像帧的原始图像参数以及各人体图像帧对应的图像平面的预测图像参数，训练初始模型，得到目标模型。本实现方式可以丰富视频处理的多样性。CN113688907ACN113688907A权利要求书1/4页1.一种模型训练方法，包括：对样本视频进行分析，确定所述样本视频中的多个人体图像帧；确定各人体图像帧对应的人体相关参数以及相机相关参数；根据所述人体相关参数、所述相机相关参数以及初始模型，确定与各人体图像帧对应的图像平面的预测图像参数，所述初始模型用于表征人体相关参数、相机相关参数与图像参数的对应关系；根据所述样本视频中各人体图像帧的原始图像参数以及各人体图像帧对应的图像平面的预测图像参数，训练所述初始模型，得到目标模型。2.根据权利要求1所述的方法，其中，所述根据所述人体相关参数、所述相机相关参数以及初始模型，确定与各人体图像帧对应的图像平面的预测图像参数，包括：对于每个人体图像帧，根据该人体图像帧对应的人体相关参数，确定该人体图像帧对应的相机位姿；根据所述相机位姿、所述人体相关参数、所述相机相关参数以及所述初始模型，确定与该人体图像帧对应的图像平面的预测图像参数。3.根据权利要求1所述的方法，其中，所述人体相关参数包括人体的全局旋转参数以及全局平移参数；以及所述根据该人体图像帧对应的人体相关参数，确定该人体图像帧对应的相机位姿，包括：根据该人体图像帧对应的全局旋转参数以及全局平移参数，将该人体图像帧由相机坐标系转换至人体坐标系；确定该人体图像帧对应的相机位姿。4.根据权利要求1所述的方法，其中，所述根据所述相机位姿、所述人体相关参数、所述相机相关参数以及初始模型，确定与该人体图像帧对应的图像平面的预测图像参数，包括：根据所述初始模型，确定各人体图像帧对应的隐编码；将所述相机位姿、所述人体相关参数、所述相机相关参数以及所述隐编码输入所述初始模型，根据所述初始模型的输出确定各人体图像帧对应的图像平面的预测图像参数。5.根据权利要求4所述的方法，其中，所述人体相关参数包括人体姿态参数和人体形状参数，所述预测图像参数包括图像平面中各像素点的密度和颜色；以及所述将所述相机位姿、所述人体相关参数、所述相机相关参数以及所述隐编码输入所述初始模型，根据所述初始模型的输出确定各人体图像帧对应的图像平面的预测图像参数，包括：根据所述全局旋转系数以及所述全局平移系数，确定相机坐标系中各人体图像帧中的像素点对应的在人体坐标系中的空间点；根据所述相机位姿以及人体坐标系中各空间点的坐标，确定人体坐标系中由相机观察各空间点的视角方向；根据各人体图像帧对应的人体形状参数，确定平均形状参数；对于人体坐标系中的每一人体图像帧，将该人体图像帧中各空间点的坐标、对应的视角方向、所述人体位姿参数、所述平均形状参数以及所述隐编码输入所述初始模型，得到所述初始模型输出的各空间点的密度和颜色；2CN113688907A权利要求书2/4页根据各空间点的密度和颜色，确定各人体图像帧对应的图像平面中各像素点的预测图像参数。6.根据权利要求5所述的方法，其中，所述根据各空间点的密度和颜色，确定各人体图像帧对应的图像平面中各像素点的预测图像参数，包括：对于图像平面中的每一像素点，根据相机位置和该像素点之间的连线所经过的空间点的密度和颜色，确定该像素点的颜色。7.根据权利要求6所述的方法，其中，所述根据相机