视频帧处理方法、装置及其相关设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120163A(43)申请公布日2022.03.01(21)申请号202111076345.1G06V10/26(2022.01)(22)申请日2021.09.14G06T7/13(2017.01)G06T7/194(2017.01)(71)申请人南京谦萃智能科技服务有限公司G06T7/11(2017.01)地址210000江苏省南京市建邺区江心洲G06T3/40(2006.01)贤坤路1号科创中心2楼220-50号办公G06T5/00(2006.01)用房申请人科大讯飞股份有限公司(72)发明人李雅洁于俊丁德成郑英帅程礼磊连顺谭昶陈涛(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280代理人刘希(51)Int.Cl.G06V20/40(2022.01)G06V10/22(2022.01)权利要求书2页说明书13页附图8页(54)发明名称视频帧处理方法、装置及其相关设备和存储介质(57)摘要本申请公开了一种视频帧处理方法、处理装置、终端设备和计算机可读存储介质，该方法包括：获取对文字展示板录像得到的当前目标视频帧；从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像；利用历史目标视频帧中文字展示板的内容，替换当前目标视频帧中的被遮挡区域，得到无遮挡图像；将无遮挡图像与经透明化处理的遮挡物图像进行叠加，得到当前目标视频帧对应的经处理目标视频帧。通过上述方式，本申请能够避免遮挡物对文字展示板内容的遮挡。CN114120163ACN114120163A权利要求书1/2页1.一种视频帧处理方法，其特征在于，所述方法包括：获取对文字展示板录像得到的当前目标视频帧；从所述当前目标视频帧中，提取所述文字展示板的被遮挡区域对应的遮挡物图像；利用历史目标视频帧中所述文字展示板的内容，替换所述当前目标视频帧中的所述被遮挡区域，得到无遮挡图像；将所述无遮挡图像与经透明化处理的所述遮挡物图像进行叠加，得到所述当前目标视频帧对应的经处理目标视频帧。2.根据权利要求1所述的方法，其特征在于，所述利用历史目标视频帧中所述文字展示板的内容，替换所述当前目标视频帧中的所述被遮挡区域，得到无遮挡图像，包括：从所述当前目标视频帧中提取第一区域图像，其中，所述第一区域图像包含所述当前目标视频帧中位于所述被遮挡区域以外的图像信息；以及从所述历史目标视频帧中提取第二区域图像，其中，所述第二区域图像包含表示所述文字展示板在所述被遮挡区域中的内容的图像信息；结合所述第一区域图像和所述第二区域图像的图像信息，得到所述无遮挡图像。3.根据权利要求1所述的方法，其特征在于，在所述从所述当前目标视频帧中，提取所述文字展示板的被遮挡区域对应的遮挡物图像之前，所述方法还包括：对所述当前目标视频帧进行遮挡物语义分割，得到所述当前目标视频帧的遮挡物分割结果，其中，所述遮挡物分割结果包含被遮挡区域的位置信息；所述从所述当前目标视频帧中，提取所述文字展示板的被遮挡区域对应的遮挡物图像，包括：利用所述被遮挡区域的位置信息，从所述当前目标视频帧中提取得到所述遮挡物图像。4.根据权利要求3所述的方法，其特征在于，在所述从所述当前目标视频帧中，提取所述文字展示板的被遮挡区域对应的遮挡物图像之前，所述方法还包括：利用所述被遮挡区域的位置信息，确定所述当前目标视频帧和上一目标视频帧的被遮挡区域之间的距离；响应于所述距离小于预设距离值，执行所述从所述当前目标视频帧中，提取所述文字展示板的被遮挡区域对应的遮挡物图像及其后续步骤。5.根据权利要求1所述的方法，其特征在于，所述获取对文字展示板录像得到的当前目标视频帧，包括：获取多个摄像头分别对所述文字展示板录像得到的多个初始视频帧；将所述多个初始视频帧进行配准处理，得到经配准的所述多个初始视频帧；将经配准的所述多个初始视频帧进行融合处理，得到所述当前目标视频帧。6.根据权利要求5所述的方法，其特征在于，至少一个所述初始视频帧包含所述文字展示板的局部画面，至少一个所述初始视频帧包含所述文字展示板的全局画面。7.根据权利要求5所述的方法，其特征在于，在所述将所述多个初始视频帧进行配准处理，得到经配准的所述多个初始视频帧之前，所述方法还包括：分别对所述多个初始视频帧进行矫正处理；2CN114120163A权利要求书2/2页和/或，所述将经配准的所述多个初始视频帧进行融合处理，得到所述当前目标视频帧，包括：将所述多个初始视频帧进行拼接处理，得到所述当前目标视频帧，其中，所述当前目标视频帧的第一像素点的像素值是由所述多个初始视频帧对应的第二像素点的像素值进行加权处理得到的，所述第一像素点和所述第二像素点为所述多个初始视频帧的重叠区域的像素点。8.根据权利要求6