虚拟主播表情控制方法、装置、设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012218A(43)申请公布日2023.04.25(21)申请号202211352075.7(22)申请日2022.10.31(71)申请人广州方硅信息技术有限公司地址510000广东省广州市番禺区南村镇万博二路79号3108(72)发明人王东鸿(74)专利代理机构广州市律帆知识产权代理事务所(普通合伙)44614专利代理师余永文(51)Int.Cl.G06T3/00(2006.01)G06V40/16(2022.01)权利要求书2页说明书15页附图7页(54)发明名称虚拟主播表情控制方法、装置、设备和介质(57)摘要本申请涉及直播技术领域，提供虚拟主播表情控制方法、装置、设备和介质。所述方法包括：构建虚拟主播模型，获取虚拟主播模型面部上第一关键点的位置；获取视频流中含主播人脸的人脸图像集，提取各人脸图像的灰度图，利用高斯滤波器对灰度图进行滤波得到平滑图像；根据所述平滑图像计算各灰度图的边缘点，根据边缘点对每张人脸图像进行第二关键点标注，获取第二关键点的到平均位置；根据所述后人脸图像及第二关键点的平均位置获得所述含主播人脸的人脸图像上第二关键点的预测位置；根据第二关键点的预测位置得到第一关键点的预测位置；根据所述第一关键点的预测位置对虚拟主播表情进行控制。本申请能使虚拟主播的面部表情与真实主播面部表情一致。CN116012218ACN116012218A权利要求书1/2页1.一种虚拟主播表情控制方法，其特征在于，所述方法包括：构建虚拟主播模型，获取虚拟主播模型面部上第一关键点的位置；获取视频流中含主播人脸的人脸图像集，提取各人脸图像的灰度图，利用高斯滤波器对灰度图进行滤波得到平滑图像；根据所述平滑图像计算各灰度图的边缘点，根据边缘点对每张人脸图像进行第二关键点标注，根据各人脸图像中第二关键点的标注位置得到所述第二关键点的平均位置；对各所述包含主播人脸的人脸图像进行变换，分别得到变换后人脸图像，根据所述变换后人脸图像及第二关键点的平均位置获得所述含主播人脸的人脸图像上第二关键点的预测位置；根据第二关键点的预测位置得到第一关键点的预测位置；根据所述第一关键点的预测位置对虚拟主播表情进行控制。2.根据权利要求1所述的方法，其特征在于，所述根据所述平滑图像计算各灰度图的边缘点，包括：计算平滑图像每个像素梯度幅值大小M(i,j)和梯度方向θ(i,j)；根据所述梯度幅值大小M(i,j)和梯度方向θ(i,j)获取灰度图的边缘点；其中，θ(i,j)＝arctan×[Q(i，j)/P(i，j)](i,j)表示平滑图像的像素坐标；P(i,j)，Q(i,j)分别是平滑图像被滤波器P和Q滤波后的结果，P和Q分别表示为滤波器，且3.根据权利要求2所述的方法，其特征在于，所述根据所述梯度幅值大小M(i,j)和梯度方向θ(i,j)获取灰度图的边缘点，包括：选定像素点；以所述选定像素点为中心点，根据该像素点的梯度方向构建K*K的邻域，计算选定像素点的梯度幅值及与该选定像素点对应邻域像素点的梯度幅值；根据计算的结果判断选定像素点的梯度幅值是否大于所述邻域内与该选定像素点相邻的像素点的梯度幅值；若是，在将选定像素点认定为边缘点；其中K为正整数。4.根据权利要求1‑3任一项所述的方法，其特征在于，所述根据第二关键点的预测位置得到第一关键点的预测位置，包括：对各第一关键点及第二关键点分别进行定义，对具有相同定义的节点间建立对应关系，根据所述第二关键点的预测位置及对应关系对具有相同定义的第一关键点的位置进行预测，得到第一关键点的预测位置。5.根据权利要求1至3任一项所述的方法，其特征在于，所述构建虚拟主播模型，获取虚拟主播模型面部上第一关键点的位置，包括：按照人体面部各节点之间的连接关系形成的一个树状模型结构，该树状模型结构包括2CN116012218A权利要求书2/2页虚拟主播面部的第一关键点，所述第一关键点分别组合形成多个模型节点，所述模型节点包括虚拟脸部节点、虚拟眼部节点、虚拟嘴巴节点、虚拟鼻子节点及虚拟眉毛节点；对所述虚拟脸部节点、虚拟眼部节点、虚拟嘴巴节点、虚拟鼻子节点及虚拟眉毛节点设定皮肤网格，形成包括虚拟脸部、虚拟眼部、虚拟嘴巴、虚拟鼻子及虚拟眉毛的虚拟主播模型；获取所述树状模型结构中的各第一关键点。6.根据权利要求1至3任一项所述的方法，其特征在于，所述对各所述包含主播人脸的人脸图像进行变换，分别得到变换后人脸图像，根据所述变换后人脸图像及第二关键点的平均位置获得所述含主播人脸的人脸图像上第二关键点的预测位置，包括：将所述包含主播人脸的人脸图像的数据集输入待训练的第二关键点检测模型，所述待训练的第二关键点检测模型利用第一空间变换网络对所述包含主播人脸的人脸图像进行变换得到变换后人脸