图像处理装置、图像处理方法和程序.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114207671A(43)申请公布日2022.03.18(21)申请号202080055852.4(74)专利代理机构北京集佳知识产权代理有限(22)申请日2020.07.07公司11227代理人王萍唐明英(30)优先权数据2019-1470462019.08.09JP(51)Int.Cl.G06T19/00(2011.01)(85)PCT国际申请进入国家阶段日G06F3/0484(2022.01)2022.01.30G06F3/01(2006.01)(86)PCT国际申请的申请数据PCT/JP2020/0266112020.07.07(87)PCT国际申请的公布数据WO2021/029164JA2021.02.18(71)申请人索尼集团公司地址日本东京都(72)发明人后藤智彦青木秀宪荒井富士夫永野京二郎深泽辽藤泽春香权利要求书2页说明书24页附图18页(54)发明名称图像处理装置、图像处理方法和程序(57)摘要提供了根据要作为显示虚拟对象的区域的目标区域的真实对象类型来选择要显示的虚拟对象并且改变显示模式的装置和方法。该装置具有：对象识别单元，其执行用于识别真实世界中的真实对象的处理；以及内容显示控制单元，其生成其中真实对象和虚拟对象被叠加显示的增强现实(AR)图像。对象识别单元识别要作为显示虚拟对象的区域的目标区域中的真实对象，并且内容显示控制单元执行用于根据对象识别结果选择要显示的虚拟对象的处理以及用于改变显示模式的处理。CN114207671ACN114207671A权利要求书1/2页1.一种图像处理装置，包括：对象识别单元，其执行对真实世界中的真实对象的识别处理；以及内容显示控制单元，其生成其中真实对象和虚拟对象被叠加显示的增强现实(AR)图像，其中，所述对象识别单元执行识别所述虚拟对象的显示区域中的真实对象的对象识别处理，并且所述内容显示控制单元根据所述对象识别单元中识别的对象识别结果选择要显示的虚拟对象。2.根据权利要求1所述的图像处理装置，其中，所述对象识别单元通过图像辨识处理执行对象识别处理。3.根据权利要求2所述的图像处理装置，其中，所述对象识别单元通过应用语义分割处理来执行对象识别处理。4.根据权利要求1所述的图像处理装置，其中，所述对象识别单元确定要作为所述虚拟对象的显示区域的目标区域，并且对所确定的目标区域中的真实对象执行识别处理。5.根据权利要求4所述的图像处理装置，其中，所述对象识别单元基于用户动作、用户视线、用户操作、用户位置和用户姿势中至少任意之一来确定所述目标区域。6.根据权利要求4所述的图像处理装置，其中，所述对象识别单元从水平表面区域选择并确定所述目标区域。7.根据权利要求6所述的图像处理装置，其中，所述内容显示控制单元显示所述虚拟对象，使得所述虚拟对象与所述水平表面区域接触。8.根据权利要求4所述的图像处理装置，其中，所述对象识别单元将所述对象识别处理作为实时处理来执行。9.根据权利要求1所述的图像处理装置，其中，所述对象识别单元根据对象类型以预先定义的时间间隔重复执行对象识别处理。10.根据权利要求1所述的图像处理装置，还包括：三维地图生成单元，其基于摄像装置捕获的图像来生成真实世界的三维地图，其中，所述对象识别单元通过使用所述三维地图来确定要作为所述虚拟对象的显示区域的目标区域。11.根据权利要求10所述的图像处理装置，其中，2CN114207671A权利要求书2/2页所述三维地图生成单元通过同时定位和映射(SLAM)处理生成真实世界的三维地图。12.根据权利要求1所述的图像处理装置，其中，所述内容显示控制单元根据所述对象识别单元中识别的对象识别结果选择要显示的虚拟对象，并且还根据所述对象识别结果控制要显示的虚拟对象的显示模式。13.根据权利要求1所述的图像处理装置，还包括：执行声音输出控制的内容声音控制单元，其中，所述内容声音控制单元根据所述对象识别单元中识别的对象识别结果确定并输出要输出的声音。14.一种在图像处理装置中执行的图像处理方法，所述方法包括：由对象识别单元执行对象识别处理步骤，所述对象识别处理步骤执行对真实世界中的真实对象的识别处理；以及由内容显示控制单元执行内容显示控制步骤，所述内容显示控制步骤生成其中真实对象和虚拟对象被叠加显示的增强现实(AR)图像，其中，所述对象识别处理步骤是执行识别所述虚拟对象的显示区域中的真实对象的对象识别处理的步骤，并且所述内容显示控制步骤执行根据所述对象识别处理步骤中识别的对象识别结果来选择要显示的虚拟对象的步骤。15.一种用于使得在图像处理装置中执行图像处理的程序，所述程序：使对象识别单元执行对象识别处理步骤，所述对象识别处理步骤执行对真实世界中的真实对