面部表情捕捉及模型训练方法、装置、设备、介质及产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984943A(43)申请公布日2023.04.18(21)申请号202310088843.0(22)申请日2023.01.16(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人黄美佳陈志远马晨光(74)专利代理机构北京恒博知识产权代理有限公司11528专利代理师范胜祥(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06N3/049(2023.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书5页说明书28页附图9页(54)发明名称面部表情捕捉及模型训练方法、装置、设备、介质及产品(57)摘要本说明书实施例公开了一种面部表情捕捉及模型训练方法、装置、设备、介质及产品。其中，上述面部表情捕捉方法包括：获取目标面部视频数据，目标面部视频数据包括连续多帧目标面部图像；提取目标面部视频数据对应的第一目标参数序列，第一目标参数序列包括多帧目标面部图像各自对应的第一目标参数，第一目标参数包括第一目标表情参数和第一目标旋转平移参数；利用目标时序神经网络模型优化第一目标参数序列，得到第二目标参数序列，第二目标参数序列包括第二目标表情参数序列和第二目标旋转平移参数序列，目标时序神经网络模型基于多个已知面部特征点序列的面部视频数据进行训练得到。CN115984943ACN115984943A权利要求书1/5页1.一种面部表情捕捉方法，所述方法包括：获取目标面部视频数据；所述目标面部视频数据包括连续多帧目标面部图像；提取所述目标面部视频数据对应的第一目标参数序列；所述第一目标参数序列包括所述多帧目标面部图像各自对应的第一目标参数；所述第一目标参数包括第一目标表情参数和第一目标旋转平移参数；利用目标时序神经网络模型优化所述第一目标参数序列，得到第二目标参数序列；所述第二目标参数序列包括第二目标表情参数序列和第二目标旋转平移参数序列；所述目标时序神经网络模型基于多个已知面部特征点序列的面部视频数据进行训练得到。2.如权利要求1所述的方法，所述提取所述目标面部视频数据对应的第一目标参数序列，包括：利用目标参数提取器提取所述目标面部视频数据对应的第一目标参数序列；所述目标参数提取器基于多张已知面部特征点的面部图像进行训练得到。3.如权利要求2所述的方法，所述目标参数提取器基于多张已知面部特征点的面部图像以及所述多个已知面部特征点序列的面部视频数据进行训练得到。4.如权利要求2所述的方法，所述目标参数提取器包括第一目标卷积网络和第二目标卷积网络；所述第一目标卷积网络用于提取所述目标面部视频数据对应的第一目标表情参数序列；所述第二目标卷积网络用于提取所述目标面部视频数据对应的第一目标旋转平移参数序列。5.如权利要求1所述的方法，所述目标时序神经网络模型包括第一目标时序神经网络和第二目标时序神经网络；所述第一目标时序神经网络用于优化所述目标面部视频数据对应的第一目标表情参数序列；所述第二目标时序神经网络用于优化所述目标面部视频数据对应的第一目标旋转平移参数序列。6.如权利要求1‑5任一项所述的方法，所述利用目标时序神经网络模型优化所述第一目标参数序列，得到第二目标参数序列之后，所述方法还包括：将所述第二目标参数序列迁移至目标三维虚拟形象。7.如权利要求6所述的方法，所述第二目标表情参数序列包括所述多帧目标面部图像各自对应的第二目标表情参数，用于表征所述目标面部视频数据中面部表情的变化情况；所述第二目标表情参数用于表征组成所述目标面部图像中面部整体表情的多维度的目标表情基系数。8.如权利要求7所述的方法，组成所述目标三维虚拟形象的面部整体表情的表情基的维度与所述目标表情基系数的维度相等。9.如权利要求1所述的方法，所述第二目标旋转平移参数序列包括所述多帧目标面部图像各自对应的第二目标旋转平移参数，用于表征组成所述目标面部视频数据中头部姿态的变化情况。10.如权利要求1所述的方法，所述获取目标面部视频数据，包括：基于图像采集设备获取视频数据；所述视频数据包括连续多帧包含面部的图像；对所述连续多帧包含面部的图像进行面部检测，得到目标面部视频数据；所述目标面部图像为仅包含面部的图像或已知面部位置的图像。11.一种时序神经网络模型训练方法，所述方法包括：2CN115984943A权利要求书2/5页获取多个已知面部特征点序列的面部视频数据；所述面部视频数据包括连续多帧第一面部图像；所述面部特征点序列包括所述多帧第一面部图像各自对应的第一面部特征点；提取所述面部视频数据对应的第一参数序列；所述第一参数序列包括所述多帧第一面部图像各自对应的参数；所述