场景图像处理方法、装置、AR设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111640192A(43)申请公布日2020.09.08(21)申请号202010507588.5(22)申请日2020.06.05(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人王子彬孙红亮李炳泽(74)专利代理机构北京中知法苑知识产权代理有限公司11226代理人李明赵吉阳(51)Int.Cl.G06T19/00(2011.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书9页附图3页(54)发明名称场景图像处理方法、装置、AR设备以及存储介质(57)摘要本公开提供了一种场景图像处理方法、装置、AR设备以及存储介质，其中，该方法包括：获取包含用户人体图像的场景图像；从获取的场景图像中提取目标用户人体图像；识别获取的场景图像指示的场景类别，并确定与该场景类别匹配的目标增强现实AR角色特效；将提取的目标用户人体图像与所述目标AR角色特效进行融合后显示。本公开实施例通过在动态图像采集的过程中将目标用户人体图像与场景类别匹配的目标AR角色特效进行融合，在实现角色扮演的同时，保留用户动态感知环境和交互环境，使得显示的融合图像更加真实逼真，增加了用户感知的真实感和融合感，提高了用户交互体验。CN111640192ACN111640192A权利要求书1/2页1.一种场景图像处理方法，其特征在于，包括：获取包含用户人体图像的场景图像；从获取的场景图像中提取目标用户人体图像；识别获取的场景图像指示的场景类别，并确定与该场景类别匹配的目标增强现实AR角色特效；将提取的目标用户人体图像与所述目标AR角色特效进行融合后显示。2.根据权利要求1所述的方法，其特征在于，从获取的场景图像中提取目标用户人体图像，包括：利用预先训练的人体识别模型，从获取的场景图像中提取目标用户人体图像；所述人体识别模型为利用标注了前景数据和背景数据的样本图像进行训练得到的。3.根据权利要求1所述的方法，其特征在于，将提取的目标用户人体图像与所述目标AR角色特效进行融合后显示，具体包括：利用所述人体识别模型，确定目标用户人体图像的实时姿态信息；根据确定出的实时姿态信息调整所述目标AR角色特效对应的显示姿态；将调整显示姿态后的目标AR角色特效叠加在提取的目标用户人体图像上。4.根据权利要求2所述的方法，其特征在于，识别获取的场景图像指示的场景类别，包括：利用所述人体识别模型从所述场景图像中提取背景环境图像；利用预先训练的场景识别模型确定所述背景环境图像所属的场景类别。5.根据权利要求4所述的方法，其特征在于，确定与所述场景类别匹配的目标增强现实AR角色特效，具体包括：显示识别出的场景类别对应的多种AR角色特效；响应于用户的选择操作，确定用户选择的AR角色特效为所述目标AR角色特效。6.根据权利要求1所述的方法，其特征在于，如果从所述场景图像中提取出的用户人体图像有多个，则确定与该场景类别匹配的目标增强现实AR角色特效之前，还包括：显示提取出的所有用户人体图像；响应于用户的选择操作，确定用户选择的用户人体图像为所述目标用户人体图像。7.根据权利要求1～6任一权利要求所述的方法，其特征在于，还包括：接收图像拍摄指令；根据接收到的图像拍摄指令，截取当前显示的融合图像并存储。8.一种场景图像处理装置，其特征在于，包括：获取单元，用于获取包含用户人体图像的场景图像；提取单元，用于从获取的场景图像中提取目标用户人体图像；识别单元，用于识别获取的场景图像指示的场景类别，并确定与该场景类别匹配的目标增强现实AR角色特效；显示单元，用于将提取的目标用户人体图像与所述目标AR角色特效进行融合后显示。9.一种AR设备，其特征在于，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述2CN111640192A权利要求书2/2页的图像处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被AR设备运行时，所述AR设备执行如权利要求1至7任意一项所述的图像处理方法的步骤。3CN111640192A说明书1/9页场景图像处理方法、装置、AR设备以及存储介质技术领域[0001]本公开涉及增强现实技术领域，具体而言，涉及一种场景图像处理方法、装置、AR设备以及存储介质。背景技术[0002]游客在参观展馆或者博物馆时，通常存在扮演展馆或者博物馆中的一些展示角色的需求并留影纪念，例如，游客在游览故宫时，希望自身也可以变身