图像处理方法、装置、设备及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111767779A(43)申请公布日2020.10.13(21)申请号202010192033.6(22)申请日2020.03.18(71)申请人北京沃东天骏信息技术有限公司地址100076北京市经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人齐鹏飞梅涛赖荣凤(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人吴会英臧建明(51)Int.Cl.G06K9/00(2006.01)G06T11/00(2006.01)权利要求书2页说明书12页附图7页(54)发明名称图像处理方法、装置、设备及计算机可读存储介质(57)摘要本发明提供一种图像处理方法、装置、设备及计算机可读存储介质，方法包括：获取终端设备发送的图像处理指令，图像处理指令中包括待处理视频；根据图像处理指令，在待处理视频中确定待处理的至少一个关键帧；对关键帧进行人脸表情识别以及人体表情识别，根据识别得到的人脸表情类型以及人体表情类型确定目标表情类型；根据目标表情类型对关键帧进行编辑操作，获得目标表情图像；将目标表情图像发送至终端设备。通过根据该人脸表情类型以及人体表情类型共同实现目标表情类型的确定，能够提高用户表情识别的精准度，进而根据该目标表情类型制作的目标表情图像能够更加精准地表征图像的真实情绪，提高目标表情图像的真实性以及适用性，提高用户体验。CN111767779ACN111767779A权利要求书1/2页1.一种图像处理方法，其特征在于，包括：获取终端设备发送的图像处理指令，其中，所述图像处理指令中包括待处理视频；根据所述图像处理指令，在所述待处理视频中确定待处理的至少一个关键帧；对所述关键帧进行人脸表情识别以及人体表情识别，根据识别得到的人脸表情类型以及人体表情类型确定目标表情类型；根据所述目标表情类型对所述关键帧进行编辑操作，获得目标表情图像；将所述目标表情图像发送至终端设备，以使用户对所述目标表情图像进行编辑操作。2.根据权利要求1所述的方法，其特征在于，所述对所述关键帧进行人脸表情类型识别以及人体表情类型识别，包括：将所述关键帧输入至预设的人脸表情识别模型，获得所述关键帧对应的人脸表情类型；根据所述关键帧对应的人脸表情类型对所述关键帧进行筛选操作，获得目标关键帧；对所述目标关键帧进行人体表情类型识别操作，获得所述目标关键帧对应的人体表情类型。3.根据权利要求2所述的方法，其特征在于，所述根据所述关键帧对应的人脸表情类型对所述关键帧进行筛选操作，包括：在所述关键帧中获取所述人脸表情类型对应的置信度超过预设的置信度阈值的候选关键帧；将所述待处理视频中所述候选关键帧前后预设时间间隔内的关键帧作为所述目标关键帧。4.根据权利要求2所述的方法，其特征在于，所述对所述目标关键帧进行人体表情类型识别操作，获得所述目标关键帧对应的人体表情类型，包括：将所述目标关键帧输入至预设的人体识别模型中，获得所述目标关键帧对应的姿势信息；根据所述姿势信息以及预设的人体姿势情绪表，确定所述目标关键帧对应的人体表情类型，其中，所述人体姿势情绪表中包括预设的多个人体表情类型对应的关节弯曲角度。5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述关键帧进行人脸表情类型识别以及人体表情类型识别之前，还包括：通过预设的关键点识别模型对所述至少一个关键帧中人脸关键点进行识别，根据所述人脸关键点对所述至少一个关键帧进行人脸对齐操作。6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述关键帧进行人脸表情类型识别以及人体表情类型识别之前，还包括：获取用户预先输入的目标人脸图像；确定所述关键帧中的人脸图像与所述目标人脸图像之间的相似度；当相似度超过预设的相似度阈值时，对所述关键帧进行人脸表情类型识别以及人体表情类型识别。7.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述目标表情类型对所述关键帧进行编辑操作，获得目标表情图像，包括：根据所述目标表情类型从数据服务器中获取预设的与所述目标表情类型对应的文字2CN111767779A权利要求书2/2页和/或贴图；根据所述目标表情类型对应的文字和/或贴图对所述关键帧进行编辑操作，获得目标表情图像。8.一种图像处理装置，其特征在于，包括：获取模块，用于获取终端设备发送的图像处理指令，其中，所述图像处理指令中包括待处理视频；确定模块，用于根据所述图像处理指令，在所述待处理视频中确定待处理的至少一个关键帧；处理模块，用于对所述关键帧进行人脸表情识别以及人体表情识别，根据识别的人脸表情类型以及人体表情类型获得目标表情类型；编辑模块，用于根据所述目标表情类型对所述关键帧进行编辑操作，获得目标表情图