神经帧外推渲染机制.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115439589A(43)申请公布日2022.12.06(21)申请号202210473708.3(22)申请日2022.04.29(30)优先权数据17/303,6512021.06.03US(71)申请人英特尔公司地址美国加利福尼亚州(72)发明人D·范巴尔C·S·马歇尔(74)专利代理机构上海专利商标事务所有限公司31100专利代理师任曼怡黄嵩泉(51)Int.Cl.G06T15/06(2011.01)G06T1/20(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书39页附图32页(54)发明名称神经帧外推渲染机制(57)摘要本申请公开了神经帧外推渲染机制。描述了用于图像帧渲染的机制。如本文所描述，实施例的设备包括一个或多个处理器，该一个或多个处理器用于：接收包括多个像素的多个过去的图像帧，接收预测光流，基于多个过去的图像帧和预测光流生成预测帧和与该预测帧相关联的置信度图，基于置信度图渲染预测帧中的多个像素中的第一组像素，以及将经渲染的像素添加到预测帧以生成最终帧。CN115439589ACN115439589A权利要求书1/2页1.一种用于促进图像帧渲染的设备，所述设备包括：一个或多个处理器，用于：接收包括多个像素的多个过去的图像帧，接收预测光流，基于所述多个过去的图像帧和所述预测光流生成预测帧和与所述预测帧相关联的置信度图，基于所述置信度图渲染所述预测帧中的所述多个像素中的第一组像素，以及将经渲染的像素添加到所述预测帧以生成最终帧。2.如权利要求1所述的设备，其特征在于，所述置信度图包括多个置信度阈值，并且每个置信度阈值与所述多个像素中的一个像素相关联。3.如权利要求2所述的设备，其特征在于，渲染所述第一组像素包括：渲染所述置信度图中具有低于预定义值的置信度阈值的像素。4.如权利要求3所述的设备，其特征在于，所述一个或多个处理器进一步基于所述多个过去的图像帧和所述预测光流执行场景分析，以确定所述过去的图像帧中的运动区域。5.如权利要求4所述的设备，其特征在于，所述一个或多个处理器基于所述场景分析调整所述预定义值。6.如权利要求5所述的设备，其特征在于，调整所述预定义值包括：在所述预测帧的第一分量中将像素要被渲染所按照的所述预定义值设置为第一值，以及在所述预测帧的第二分量处将像素要被渲染所按照的所述预定义值设置为第二值。7.如权利要求6所述的设备，其特征在于，所述一个或多个处理器在所述预测光流中基于预测运动向量执行自适应采样。8.如权利要求1所述的设备，其特征在于，所述预测光流是从光流神经网络被接收的。9.如权利要求8所述的设备，其特征在于，所述预测帧和所述置信度图是在外推神经网络处生成的。10.一种用于促进图像帧渲染的方法，所述方法包括：接收包括多个像素的多个过去的图像帧；接收预测光流；基于所述多个过去的图像帧和所述预测光流生成预测帧；生成与所述预测帧相关联的置信度图；基于所述置信度图渲染所述预测帧中的所述多个像素中的第一组像素；以及将经渲染的像素添加到所述预测帧以生成最终帧。11.如权利要求10所述的方法，其特征在于，所述置信度图包括多个置信度阈值，并且每个置信度阈值与所述多个像素中的一个像素相关联。12.如权利要求11所述的方法，其特征在于，渲染所述第一组像素包括：渲染所述置信度图中具有低于预定义值的置信度阈值的像素。13.如权利要求12所述的方法，进一步包括：基于所述多个过去的图像帧和所述预测光流执行场景分析，以确定所述过去的图像帧中的运动区域；以及基于所述场景分析调整所述预定义值。14.如权利要求13所述的方法，其特征在于，调整所述预定义值包括：在所述预测帧的第一分量中将像素要被渲染所按照的所述预定义值设置为第一值。15.如权利要求14所述的方法，其特征在于，调整所述预定义值进一步包括：在所述预2CN115439589A权利要求书2/2页测帧的第二分量处将像素要被渲染所按照的所述预定义值设置为第二值。16.如权利要求15所述的方法，进一步包括：在所述预测光流中基于预测运动向量执行自适应采样。17.如权利要求10所述的方法，其特征在于，所述预测光流是从光流神经网络被接收的。18.至少一种计算机可读介质，具有指令，所述指令在由一个或多个处理器执行时，使所述处理器执行如权利要求10‑17中任一项所述的方法。19.一种系统，包括用于实现或执行如权利要求10‑17中任一项所述的方法的机制。20.一种设备，包括用于执行如权利要求10‑17中任一项所述的方法的装置。3CN115439589A说明书1/39页神经帧外推渲染机制技术领域[0001]本文中所描述的实施例总体上涉及计算机。更具体地，描述了用于