一种基于表情肌定位的视频智能渲染方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114549711A(43)申请公布日2022.05.27(21)申请号202210447176.6(22)申请日2022.04.27(71)申请人广州公评科技有限公司地址510000广东省广州市天河区中山大道中38号加悦大厦909D房(72)发明人顾院院(51)Int.Cl.G06T13/40(2011.01)G06V40/16(2022.01)G06V40/20(2022.01)G06V20/40(2022.01)权利要求书3页说明书11页附图2页(54)发明名称一种基于表情肌定位的视频智能渲染方法和系统(57)摘要本发明提供了一种基于表情肌定位的视频智能渲染方法和系统，其方法包括：S1：确定出待渲染视频中每一帧视频帧中的表情肌区域；S2：基于所述待渲染视频中包含的表情肌区域，确定出所述表情肌区域对应的变化定位点和变化频率；S3：确定出所述变化定位点对应的移动向量；S4：基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数，获得对应的最终渲染视频；用以基于对视频中的人脸面部表情肌的定位结果智能渲染视频，进而达到渲染视频显示效果和避免硬件运行内存浪费的双赢结果。CN114549711ACN114549711A权利要求书1/3页1.一种基于表情肌定位的视频智能渲染方法，其特征在于，包括：S1：确定出待渲染视频中每一帧视频帧中的表情肌区域；S2：基于所述待渲染视频中包含的表情肌区域，确定出所述表情肌区域对应的变化定位点和变化频率；S3：确定出所述变化定位点对应的移动向量；S4：基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数，获得对应的最终渲染视频。2.根据权利要求1所述的一种基于表情肌定位的视频智能渲染方法，其特征在于，S1：确定出待渲染视频中每一帧视频帧中的表情肌区域，包括：S101：确定出所述待渲染视频中包含的每一帧视频帧中的人脸区域；S102：基于预设表情肌分布图将所述人脸区域标准化，获得对应的标准人脸区域；S103：基于所述预设表情肌分布图划分出所述标准人脸区域中包含的表情肌区域。3.根据权利要求2所述的一种基于表情肌定位的视频智能渲染方法，其特征在于，S102：基于预设表情肌分布图将所述人脸区域标准化，获得对应的标准人脸区域，包括：识别出所述人脸区域中包含的所有第一骨点，同时，确定出所述预设表情肌分布图中包含的第二骨点；基于所述第一骨点和所述第二骨点将所述人脸区域与所述预设表情肌分布图配准，获得对应的标准人脸区域。4.根据权利要求3所述的一种基于表情肌定位的视频智能渲染方法，其特征在于，S2：基于所述待渲染视频中包含的表情肌区域，确定出所述表情肌区域对应的变化定位点和变化频率，包括：在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作，确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段；基于所述表情肌区域对应的表情肌完整变化视频段的视频时长，确定出对应表情肌区域对应的变化频率；确定出所述完整变化动作在所述表情肌完整变化视频段中包含的第一视频帧中的第一表情肌区域集合，并将所述第一表情肌区域集合中包含的第一表情肌区域统一在同一坐标系下；确定出所述表情肌完整变化视频段中包含的第一个第一表情肌区域中包含的所有第一坐标点的第一坐标位置；确定出所述第一坐标点在所述第一表情肌区域集合中除第一个第一表情肌区域以外剩余的第一表情肌区域中的第二坐标位置；筛选出所述第一表情肌区域中对应的第一坐标位置和对应的所有第二坐标位置不完全相同的第二坐标点，基于所有第二坐标点获得对应的坐标点集合；基于表情肌完整变化视频段中对应的帧序列将所述第二坐标点对应的第一坐标位置和对应的所有第二坐标位置进行排序，获得所述第二坐标点对应的坐标位置序列；基于所述坐标位置序列生成所述第二坐标点对应的变化轨迹；从所述坐标点集合中筛选出所述变化轨迹的长度大于轨迹长度阈值的第三坐标点作为对应表情肌区域对应的变化定位点。2CN114549711A权利要求书2/3页5.根据权利要求4所述的一种基于表情肌定位的视频智能渲染方法，其特征在于，在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作，确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段，包括：对所述待渲染视频中包含的每一帧视频帧中包含的表情肌区域进行特征提取，获得对应的表情肌特征；在所述待渲染视频中筛选出每个表情肌区域对应的表情肌特征相同的时间点；基于所述时间点在所述待渲染视频中划分出所述表情肌区域对应的完整变化动作对应的表情肌完整变化视频段。6.根据权利要求5所述的一种基于表情肌定位的视频智能渲染方法，其特征在于，基于所述表情肌区域对应的表情肌完整变化视频段的视频时长，确定出对应表情肌区域对