用于视频通话的基于面部的帧速率上采样.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114245987A(43)申请公布日2022.03.25(21)申请号201980012945.6(74)专利代理机构上海华诚知识产权代理有限(22)申请日2019.11.11公司31300代理人肖华(30)优先权数据62/884,1352019.08.07US(51)Int.Cl.H04N7/14(2006.01)(85)PCT国际申请进入国家阶段日H04N19/132(2006.01)2020.08.12(86)PCT国际申请的申请数据PCT/US2019/0607002019.11.11(87)PCT国际申请的公布数据WO2021/025717EN2021.02.11(71)申请人谷歌有限责任公司地址美国加利福尼亚州(72)发明人狄龙·卡尔权利要求书3页说明书14页附图12页(54)发明名称用于视频通话的基于面部的帧速率上采样(57)摘要一种方法包括接收与视频对应的一组视频帧，所述一组视频帧包括第一视频帧和第二视频帧，所述第一视频帧和所述第二视频帧各自包括面部，其中所述第二视频帧在所述第一视频帧之后。该方法还包括对第一视频帧执行面部跟踪以识别第一面部重采样关键帧，以及对第二视频帧执行面部跟踪以识别第二面部重采样关键帧。该方法还包括导出插值量。该方法还包括基于第一面部重采样关键帧和插值量来确定第一插值面部帧。该方法还包括基于第二面部重采样关键帧和插值量来确定第二插值面部帧。该方法还包括渲染插值的第一面部和插值的第二面部。该方法还包括显示最终帧。CN114245987ACN114245987A权利要求书1/3页1.一种方法，其特征在于，包括：接收与视频对应的一组视频帧，所述一组视频帧包括第一视频帧和第二视频帧，所述第一视频帧和所述第二视频帧各自包括面部，其中所述第二视频帧在所述第一视频帧之后；对所述第一视频帧进行面部跟踪，以识别第一面部重采样关键帧，所述第一面部重采样关键帧包括第一头部变换矩阵和第一面部界标顶点；对所述第二视频帧进行面部跟踪，以识别第二面部重采样关键帧，所述第二面部重采样关键帧包括第二头部变换矩阵和第二面部界标顶点；导出插值量；基于所述第一面部重采样关键帧和所述插值量，确定第一插值面部帧；基于所述第二面部重采样关键帧和所述插值量，确定第二插值面部帧；基于所述插值量，对所述第一面部重采样关键帧的第一背景和所述第二面部重采样关键帧的第二背景进行插值；渲染插值的第一面部和插值的第二面部；和显示基于插值的第一背景，插值的第二背景，所述插值的第一面部和所述插值的第二面部的最终帧。2.如权利要求1所述的方法，其特征在于，还包括：将所述第一背景与所述第二背景混合，以获得混合的背景；将所述插值的第一面部与所述插值的第二面部混合，以获得混合的插值面部；和通过将平滑面部置于所述混合的插值面部和所述混合的背景的顶部来生成所述最终帧。3.如权利要求1所述的方法，其特征在于，确定所述第一插值面部帧包括：使用所述第一头部变换矩阵来提取平移矢量，旋转四元数和缩放矢量；使用线性插值来插值所述平移矢量；使用线性插值来插值所述旋转四元数，以生成插值的旋转四元数；使用线性插值来插值所述缩放矢量，以生成插值的缩放矢量；基于所述插值的平移矢量，所述插值的旋转四元数和所述插值的缩放矢量，组成插值的平移‑旋转‑缩放矩阵；和使用所述插值的平移‑旋转‑缩放矩阵来计算所述插值的第一面部的插值位置。4.如权利要求1所述的方法，其特征在于，所述插值量是从(a)所述第一面部重采样关键帧与所述第二面部重采样关键帧之间的持续时间和(b)当前渲染时间导出的。5.如权利要求1所述的方法，其特征在于，确定所述第二插值面部帧包括，计算所述第二面部界标顶点中的每个顶点各自的位移。6.如权利要求1所述的方法，其特征在于，插值所述第一背景和所述第二背景是用α混合来完成的。7.如权利要求1所述的方法，其特征在于，渲染包括基于所述插值量对所述面部的边缘进行羽化或在所述第一插值面部帧与所述第二插值面部帧之间进行的淡化中的至少一个。8.如权利要求1所述的方法，其特征在于：对所述第一视频帧进行面部跟踪，进一步包括确定所述第一面部重采样关键帧的第一2CN114245987A权利要求书2/3页纹理坐标和时间戳；和将所述第一纹理坐标应用于所述第一面部界标顶点。9.如权利要求1所述的方法，其特征在于，通过对所述第一视频帧进行红绿蓝(RGB)面部跟踪来识别所述第一背景和所述面部。10.一种其上存储有指令的非暂时性计算机可读介质，其特征在于，所述指令在由一个或多个计算机执行时使所述一个或多个计算机进行操作，所述操作包括：接收与视频对应的一组视频帧，所述一组视频帧包括第一视频帧和第二视频帧，所述第一视频帧和所述第二视频帧各自包括