一种帧间预测方法、视频编码方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110177278A(43)申请公布日2019.08.27(21)申请号201910442247.1(22)申请日2019.05.24(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人梁喆朱雨(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人李志新李静波(51)Int.Cl.H04N19/139(2014.01)H04N19/159(2014.01)H04N19/124(2014.01)H04N19/176(2014.01)H04N19/182(2014.01)权利要求书2页说明书6页附图4页(54)发明名称一种帧间预测方法、视频编码方法及装置(57)摘要本发明的方面涉及视频压缩编码技术领域，提供一种帧间预测方法、视频编码方法及装置。帧间预测方法，其中，包括：获取视频帧步骤，获取连续的视频帧，视频帧包括当前视频帧和相邻视频帧；获取关键点步骤，获取当前视频帧和相邻视频帧中的关键点和关键点的关键点信息；配对步骤，基于关键点类别属性，获得当前视频帧与相邻视频帧中的配对关键点；像素块提取步骤，根据配对关键点的关键点信息，获得配对关键点对应的配对像素块；获取位移矢量步骤，根据配对关键点的关键点坐标，得到配对像素块的位移矢量。通过使用该方法，利用神经网络获取关键点进行像素块的运动状态估计，提高了编码的准确性和编码视频的质量。CN110177278ACN110177278A权利要求书1/2页1.一种帧间预测方法，其中，包括：获取视频帧步骤，获取连续的视频帧，所述视频帧包括当前视频帧和相邻视频帧；获取关键点步骤，通过神经网络模型对所述当前视频帧和所述相邻视频帧进行检测，获取所述当前视频帧和所述相邻视频帧中的关键点和所述关键点的关键点信息，其中所述关键点信息包括：关键点坐标、关键点类别属性；配对步骤，基于所述关键点类别属性，获得所述当前视频帧与所述相邻视频帧中的配对关键点，所述配对关键点为所述当前视频帧与所述相邻视频帧中具有相同所述关键点类别属性的所述关键点；像素块提取步骤，根据所述配对关键点的所述关键点信息，在所述当前视频帧和所述相邻视频帧中获得所述配对关键点对应的配对像素块；获取位移矢量步骤，根据所述配对关键点的所述关键点坐标，得到所述配对关键点的位移矢量，将所述配对关键点的位移矢量作为所述配对像素块的位移矢量。2.根据权利要求1所述的方法，其中，所述像素块提取步骤包括：根据所述配对关键点的所述关键点坐标，以所述配对关键点为中心，获得所述配对关键点对应的所述配对像素块，所述配对像素块的尺寸为一预设尺寸。3.根据权利要求1所述的方法，其中，所述像素块提取步骤包括：根据所述关键点类别属性，预设有与所述关键点类别属性对应的像素块尺寸，基于所述配对关键点的所述关键点坐标以及对应的所述像素块尺寸，获得所述配对关键点对应的所述配对像素块。4.根据权利要求1-3中任一项的所述的方法，其中，所述相邻视频帧为与所述当前视频帧紧邻的上一视频帧或下一视频帧。5.根据权利要求1-3任一项所述的方法，其中，所述神经网络模型包括人脸、猫脸、狗脸、车辆以及骨架检测网络中的至少一个。6.一种视频编码方法，其中，包括帧内预测步骤、帧间预测步骤、变换步骤、量化步骤、环路滤波步骤和熵编码步骤；其中，所述帧间预测步骤采用如权利要求1-5任一项所述的帧间预测方法。7.一种帧间预测装置，其中，包括：获取视频帧模块，用于获取连续的视频帧，所述视频帧包括当前视频帧和相邻视频帧；获取关键点模块，用于通过神经网络模型对所述当前视频帧和所述相邻视频帧进行检测，获取所述当前视频帧和所述相邻视频帧中的关键点和所述关键点的关键点信息，其中所述关键点信息包括：关键点坐标、关键点类别属性；配对模块，用于基于所述关键点类别属性，获得所述当前视频帧与所述相邻视频帧中的配对关键点，所述配对关键点为所述当前视频帧与所述相邻视频帧中具有相同所述关键点类别属性的所述关键点；像素块提取模块，用于根据所述配对关键点的所述关键点信息，在所述当前视频帧和所述相邻视频帧中获得所述配对关键点对应的配对像素块；获取位移矢量模块，用于根据所述配对关键点的所述关键点坐标，得到所述配对关键点的位移矢量，将所述配对关键点的位移矢量作为所述配对像素块的位移矢量。8.一种视频编码系统，其中，包括帧内预测装置、帧间预测装置、变换装置、量化装置、环路滤波装置和熵编码装置；2CN110177278A权利要求书2/2页其中，所述帧间预测装置采用如权利要求1-5所述的帧间预测方法进行帧间预测。9.一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行权