一种实现互动的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113813595A(43)申请公布日2021.12.21(21)申请号202110056976.0(22)申请日2021.01.15(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人吴朝阳(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人郝红玉王安娜(51)Int.Cl.A63F13/216(2014.01)G06K9/00(2006.01)G06T7/70(2017.01)G06F17/16(2006.01)权利要求书2页说明书9页附图3页(54)发明名称一种实现互动的方法和装置(57)摘要本发明公开了一种实现互动的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：由实时的人脸图像得到人脸关键点数据；根据人脸关键点数据，确定互动模型在互动场景中的位置和姿态，互动模型与人脸图像对应；对互动场景中的模型进行渲染，互动场景中的模型包括互动模型。该实施方式能够无需移动端设备支持SLAM功能便实现AR互动游戏等互动应用。CN113813595ACN113813595A权利要求书1/2页1.一种实现互动的方法，其特征在于，包括：由实时的人脸图像得到人脸关键点数据；根据所述人脸关键点数据，确定互动模型在互动场景中的位置和姿态，所述互动模型与所述人脸图像对应；对所述互动场景中的模型进行渲染，所述互动场景中的模型包括所述互动模型。2.根据权利要求1所述的方法，其特征在于，所述由实时的人脸图像得到人脸关键点数据之前，包括：初始化物理引擎和渲染引擎，初始化所述物理引擎包括构建所述互动场景中具有物理属性的对象，初始化所述渲染引擎包括将所述互动场景中的模型加载到所述渲染引擎，所述物理引擎和所述渲染引擎用于对所述互动场景中的模型进行渲染。3.根据权利要求2所述的方法，其特征在于，利用图形设备应用程序接口和与图像处理相关的底层应用程序接口算法库，封装得到所述物理引擎和所述渲染引擎。4.根据权利要求2所述的方法，其特征在于，所述人脸关键点数据包括旋转信息、缩放信息和特定关键点的二维位置信息；所述根据所述人脸关键点数据，确定互动模型在互动场景中的位置和姿态，包括：根据所述特定关键点的二维位置信息，利用所述缩放信息、所述渲染引擎中的视图矩阵和投影矩阵，计算得到所述互动模型在所述互动场景中的三维位置信息；以及，利用所述旋转信息，确定所述互动模型在所述互动场景中的姿态。5.根据权利要求4所述的方法，其特征在于，所述根据所述特定关键点的二维位置信息，利用所述缩放信息、所述渲染引擎中的视图矩阵和投影矩阵，计算得到所述互动模型在所述互动场景中的三维位置信息，包括：将所述渲染引擎中的视图矩阵与投影矩阵相乘后计算逆矩阵，得到投影视图逆矩阵；将所述特定关键点的二维位置信息和所述缩放信息组合成三维坐标点，将所述投影视图逆矩阵与所述三维坐标点相乘，得到所述互动模型在所述互动场景中的三维位置信息。6.根据权利要求4所述的方法，其特征在于，所述对所述互动场景中的模型进行渲染，包括：通过所述物理引擎进行物理矩阵与渲染矩阵的同步，并对所述互动场景中的所述对象进行物理属性模拟，以及对所述对象进行碰撞检测和处理，其中，所述渲染矩阵包括所述视图矩阵和所述投影矩阵，所述物理矩阵为所述物理引擎中的矩阵；通过所述渲染引擎基于所述物理属性模拟的结果和/或所述碰撞检测和处理的结果，更新所述渲染矩阵，并基于更新的所述渲染矩阵渲染所述互动场景。7.根据权利要求4所述的方法，其特征在于，所述特定关键点为所述人脸图像的鼻尖。8.一种实现互动的装置，其特征在于，包括：人脸图像识别模块，用于由实时的人脸图像得到人脸关键点数据；互动模型位姿确定模块，用于根据所述人脸关键点数据，确定互动模型在互动场景中的位置和姿态，所述互动模型与所述人脸图像对应；渲染模块，用于对所述互动场景中的模型进行渲染，所述互动场景中的模型包括所述互动模型。9.根据权利要求8所述的装置，其特征在于，还包括初始化模块，用于：2CN113813595A权利要求书2/2页初始化物理引擎和渲染引擎，初始化所述物理引擎包括构建所述互动场景中具有物理属性的对象，初始化所述渲染引擎包括将所述互动场景中的模型加载到所述渲染引擎，所述物理引擎和所述渲染引擎用于对所述互动场景中的模型进行渲染。10.根据权利要求9所述的装置，其特征在于，利用图形设备应用程序接口和与图像处理相关的底层应用程序接口算法库，封装得到所述物理引擎和所述渲染引擎。11.根据权利要求9所述的装置，其特征在于，所述人脸关键点数据包括旋转信息、缩放信息和特定关键点的二维位置信息；所