直播视频图像处理方法、装置及服务器.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114339306A(43)申请公布日2022.04.12(21)申请号202111621565.8(22)申请日2021.12.28(71)申请人广州虎牙科技有限公司地址510000广东省广州市番禺区钟村街(汉溪商业中心)泽溪街13号1301(72)发明人李亮(74)专利代理机构成都极刻智慧知识产权代理事务所(普通合伙)51310代理人张红平(51)Int.Cl.H04N21/234(2011.01)G06T7/10(2017.01)权利要求书2页说明书12页附图4页(54)发明名称直播视频图像处理方法、装置及服务器(57)摘要本申请实施例提供的直播视频图像处理方法、装置及服务器，涉及视频图像处理技术领域。首先，对原始视频序列图像进行图像分割，在每一帧图像中定位并分割出目标物体所对应的目标区域；接着，对每一帧图像中的目标区域进行图像修复处理得到修复后的视频序列帧图像；最后，基于修复后的视频序列帧图像计算画面状态修复评价指标值，并根据画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向客户端发送修复后的视频序列帧图像。如此，可以在将修复后的视频序列帧图像发送给客户端之前，对修复后的视频序列帧图像的画面状态进行评估确认，避免修复质量不佳的视频序列帧图像发送给客户端而导致的直播画面整体劣化。CN114339306ACN114339306A权利要求书1/2页1.一种直播视频图像处理方法，其特征在于，应用于服务器，所述服务器与客户端通信连接，所述方法包括：获取直播间的原始视频序列帧图像；对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域；对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像；计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像。2.如权利要求1所述的直播视频图像处理方法，其特征在于，所述对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域的步骤，包括：采用DeepLabv3+模型在每一帧图像中定位并分割出目标物体所对应的目标区域；采用Encoder‑Decoder模型在每个帧图像中定位并分割出人像及人体关键部位对应的图像区域，其中，所述人体关键部位包括人脸、五官以及手部。3.如权利要求2所述的直播视频图像处理方法，其特征在于，所述对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像的步骤，包括：将所述原始视频序列帧图像划分多个包括预设帧数的视频序列片段，其中，所述预设帧数的帧数范围为48～120帧；针对每个所述视频序列片段，确定所述视频序列片段的待修复区域，采用所述视频序列片段中的第一帧图像、片段中间帧图像及最后一帧图像作为参考帧图像，基于所述参考帧图像进行交叉信息融合以对所述待修复区域进行修复，得到图像修复后的视频序列片段，由所述图像修复后的视频序列片段组成所述修复后的视频序列帧图像。4.如权利要求3所述的直播视频图像处理方法，其特征在于，所述确定所述视频序列片段的待修复区域的步骤，包括：计算所述视频序列片段中各帧图像中目标区域的尺寸；将所述视频序列片段中尺寸最大的目标区域作为所述视频序列片段的待修复区域。5.如权利要求3或4所述的直播视频图像处理方法，其特征在于，所述计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像的步骤，包括：计算所述修复后的视频序列帧图像的画面状态修复评价指标值；将所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值进行比较，在所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值满足预设条件时，向所述客户端发送所述修复后的视频序列帧图像；在所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值不满足所述预设条件时，向所述客户端发送所述原始视频序列帧图像。6.如权利要求5所述的直播视频图像处理方法，其特征在于，所述画面状态修复评价指标包括单帧状态指标及多帧稳定性指标，其中，所述单帧状态指标包括人像遮挡比例、人脸2CN114339306A权利要求书2/2页遮挡比例、五官遮挡状态、目标物体手持状态、目标物体分割掩膜的置信度、修复后人像分割掩膜的置信度；所述多帧稳定性指标包括修复后人像分割掩膜的抖动率，目标区域内的图像的抖动率。7.如权利要求6所述的直播视频图像处理方法，其特征在于，所述将所述画面状态修复评价指标值与所述预设的画面状态修