关键点检测、模型的训练、直播方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971742A(43)申请公布日2022.01.25(21)申请号202010648235.7G06T7/13(2017.01)(22)申请日2020.07.07G06T7/40(2017.01)(71)申请人广州虎牙科技有限公司地址511400广东省广州市番禺区钟村街（汉溪商业中心）泽溪街13号1301(72)发明人芦爱余(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06V10/764(2022.01)G06V40/16(2022.01)G06V10/46(2022.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书4页说明书18页附图6页(54)发明名称关键点检测、模型的训练、直播方法、装置、设备及介质(57)摘要本发明实施例公开了一种关键点检测、模型的训练、直播方法、装置、设备及介质。所述方法包括：接收原始图像数据，所述原始图像数据中具有人脸数据；确定关键点检测模型，所述关键点检测模型中前n层网络用于输出边缘纹理特征，所述边缘纹理特征融合有纹理特征与边缘特征，所述边缘纹理特征用于针对所述人脸数据的边缘生成目标热力图；将所述原始图像数据输入所述关键点检测模型中，识别所述人脸数据的人脸关键点，作为目标关键点，以使所述目标关键点对齐所述目标热力图。本发明实施例可以提高边缘关键点检测准确率。CN113971742ACN113971742A权利要求书1/4页1.一种关键点的检测方法，其特征在于，包括：接收原始图像数据，所述原始图像数据中具有人脸数据；确定关键点检测模型，所述关键点检测模型中前n层网络用于输出边缘纹理特征，所述边缘纹理特征融合有纹理特征与边缘特征，所述边缘纹理特征用于针对所述人脸数据的边缘生成目标热力图；将所述原始图像数据输入所述关键点检测模型中，识别所述人脸数据的人脸关键点，作为目标关键点，以使所述目标关键点对齐所述目标热力图。2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像数据输入所述关键点检测模型中，识别所述人脸数据的人脸关键点，作为目标关键点，包括：将所述原始图像数据输入至所述关键点检测模型中，所述关键点检测模型包括第一卷积层、池化层、第一打乱网络阶段层、第二打乱网络阶段层、第三打乱网络阶段层、多标量均值串联层和第二卷积层；在所述第一卷积层中，对所述原始图像数据进行卷积操作，得到初始特征；在所述池化层中，对所述初始特征进行池化操作，得到边缘纹理特征；在所述第一打乱网络阶段层中，对所述边缘纹理特征进行特征映射，得到第一特征；在所述第二打乱网络阶段层中，对所述第一特征进行特征映射，得到第二特征，所述第二特征的维度高于所述第一特征的维度；在所述第三打乱网络阶段层中，对所述第二特征进行特征映射，得到第三特征，所述第三特征的维度高于所述第二特征的维度；在所述多标量均值串联层中，对所述第一特征、所述第二特征和所述第三特征进行拼接，得到融合特征；在所述第二卷积层中，对所述融合特征进行卷积操作，得到所述人脸数据的人脸关键点，并作为目标关键点。3.根据权利要求1所述的方法，其特征在于，所述关键点检测模型中前n层网络输出的特征中，所述边缘特征的数据量占全部特征的数据量的比例最大。4.一种关键点检测模型的训练方法，其特征在于，包括：接收第一样本图像数据，所述第一样本图像数据中具有人脸数据；将所述第一样本图像数据输入所述关键点检测模型中，以识别所述人脸数据的人脸关键点，作为预测关键点；提取所述关键点检测模型中前n层网络输出的第一边缘纹理特征，所述第一边缘纹理特征用于输入至预先训练的边缘生成模型中，以针对所述第一边缘纹理特征的人脸边缘生成热力图，作为第一预测热力图，其中，所述前n层网络通过与所述边缘生成模型共同训练得到；以对齐所述第一预测热力图与所述预测关键点作为监督，训练所述关键点检测模型中所述前n层网络之后的网络。5.根据权利要求4所述的方法，其特征在于，在将所述第一样本图像数据输入所述关键点检测模型中之前，还包括：获取第二样本图像数据，所述第二样本图像数据中具有人脸数据；将所述第二样本图像数据输入n层网络中，获取所述n层网络输出的第二边缘纹理特2CN113971742A权利要求书2/4页征；将所述第二边缘纹理特征，输入预设的边缘生成模型中，以针对所述第二样本图像数据的人脸边缘生成热力图，作为第二预测热力图，同时训练所述n层网络和所述边缘生成模型；在所述n层网络和所述边缘生成模型训练完成时，锁定所述n层网络中参数，并根据所述n层网络生成关键点检测模型，所述关键点检测模型中前n层网络为所述n层网络。6.根据权利要求5所述的方法，其特征在于，所述将所述第二边缘纹理