AR特效渲染方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113706717A(43)申请公布日2021.11.26(21)申请号202110338222.4(22)申请日2021.03.30(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人毛曙源(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人祝亚男(51)Int.Cl.G06T19/00(2011.01)G06T15/00(2011.01)G06T7/73(2017.01)权利要求书3页说明书16页附图5页(54)发明名称AR特效渲染方法、装置、设备及存储介质(57)摘要本申请提供了一种AR特效渲染方法、装置、设备及存储介质，属于互联网和计算机领域。所述方法包括：基于包含目标物体的第一图像帧，获取物体位姿信息；根据相机的参数信息和物体位姿信息，确定AR特效模型的模型位姿信息和模型尺寸信息；根据模型尺寸信息，对AR特效模型进行尺寸调整处理，得到调整后的AR特效模型；根据相机的位姿信息和模型位姿信息，确定AR特效模型针对相机的相对位姿信息；基于相对位姿信息，将调整后的AR特效模型投影至第一图像帧中，生成第一图像帧对应的特效图像帧。本申请提供了一种针对目标物体增加AR特效的方式，不需要构建虚拟地图即可生成AR特效图像，降低生成AR特效图像所需的计算量。CN113706717ACN113706717A权利要求书1/3页1.一种增强现实AR特效渲染方法，其特征在于，所述方法包括：基于包含目标物体的第一图像帧，获取物体位姿信息；其中，所述物体位姿信息包括所述目标物体在所述第一图像帧中的空间位置信息和空间姿态信息；根据相机的参数信息和所述物体位姿信息，确定AR特效模型的模型位姿信息和模型尺寸信息；其中，所述模型位姿信息包括所述AR特效模型的空间位置信息和空间姿态信息；根据所述模型尺寸信息，对所述AR特效模型进行尺寸调整处理，得到调整后的AR特效模型；根据所述相机的位姿信息和所述模型位姿信息，确定所述AR特效模型针对所述相机的相对位姿信息；基于所述相对位姿信息，将所述调整后的AR特效模型投影至所述第一图像帧中，生成所述第一图像帧对应的特效图像帧。2.根据权利要求1所述的方法，其特征在于，所述基于包含目标物体的第一图像帧，获取物体位姿信息，包括：对所述第一图像帧进行目标检测处理，获取所述目标物体的第一包围框；其中，所述第一包围框用于指示所述目标物体在所述第一图像帧中的平面位置；根据所述第一包围框的平面中心位置和所述相机的参数信息，确定所述目标物体的空间姿态信息；这里引出平面中心位置和相机参数信息即可获取第一距离；其中，所述第一距离用于指示在获取所述第一图像帧时，所述目标物体与所述相机之间的距离；根据所述第一包围框的平面中心位置、所述相机的参数信息和所述第一距离，确定所述目标物体的空间位置信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一包围框的平面中心位置和所述相机的参数信息，确定所述目标物体的空间姿态信息，包括：根据所述第一包围框的平面中心位置和所述相机的参数信息，在世界坐标系中确定相机光心与所述第一包围框的中心点之间的连接射线；根据所述连接射线确定所述目标物体在所述世界坐标系下的偏转角度；根据所述偏转角度确定所述目标物体的空间姿态信息。4.根据权利要求1所述的方法，其特征在于，所述目标物体的空间位置信息包括第一包围框的空间顶点位置信息和所述第一包围框的空间中心位置信息，所述第一包围框用于指示所述目标物体在所述第一图像帧中的平面位置；所述根据相机的参数信息和所述物体位姿信息，确定AR特效模型的模型位姿信息和模型尺寸信息，包括：根据所述第一包围框的空间顶点位置信息确定所述模型尺寸信息；根据所述第一包围框的空间顶点位置信息或所述第一包围框的空间中心位置信息，确定所述AR特效模型的空间位置信息；根据所述目标物体的空间姿态信息，确定所述AR特效模型的空间姿态信息。5.根据权利要求1所述的方法，其特征在于，所述相机的位姿信息包括姿态旋转矩阵和所述相机的空间位置信息；其中，所述姿态旋转矩阵用于指示相机坐标系与空间坐标系之间的映射关系；2CN113706717A权利要求书2/3页所述根据相机的位姿信息和所述模型位姿信息，确定所述AR特效模型针对所述相机的相对位姿信息，包括：根据所述相机的空间位置信息和所述AR特效模型的空间位置信息，确定所述AR特效模型针对所述相机的空间相对位置信息；根据所述姿态旋转矩阵和所述AR特效模型的空间姿态信息，确定所述AR特效模型针对所述相机的空间相对姿态信息；其中，所述相对位姿信息包括所述空间相对位置信息和所述空间相对姿态信息。6.根据权利要求1所述的方