沉浸式显示系统及其方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114270870A(43)申请公布日2022.04.01(21)申请号201980099355.1(74)专利代理机构北京市柳沈律师事务所(22)申请日2019.12.0211105代理人李婧(30)优先权数据2019110329812019.08.14IN(51)Int.Cl.H04N21/439(2011.01)(85)PCT国际申请进入国家阶段日H04N21/81(2011.01)2022.02.14G06V20/20(2022.01)(86)PCT国际申请的申请数据G06F16/683(2019.01)PCT/KR2019/0168582019.12.02(87)PCT国际申请的公布数据WO2021/029497EN2021.02.18(71)申请人三星电子株式会社地址韩国京畿道(72)发明人S.潘瓦尔M.阿加瓦尔Y.库马尔G.辛格金镐善尼亚兹.N权利要求书2页说明书18页附图37页(54)发明名称沉浸式显示系统及其方法(57)摘要提供了沉浸式显示系统。沉浸式显示系统获得图像并基于图像确定外部媒体元素。沉浸式显示系统将外部媒体元素连同图像渲染以向用户提供沉浸式显示体验。CN114270870ACN114270870A权利要求书1/2页1.一种为电子设备创建沉浸式内容的方法，所述方法包括：获得第一图像；辨识第一图像中捕获的一个或多个对象；向第一图像中辨识的一个或多个对象中的每一个分配优先级值；检索与具有大于预定阈值的优先级值的一个或多个对象中的每一个对应的音频数据；基于每个检索的音频数据生成动态音频数据；以及在显示第二图像时播放基于动态音频数据的动态音频文件。2.如权利要求1所述的方法，其中，第一图像与第二图像相同。3.如权利要求1所述的方法，还包括：确定一个或多个对象中的每一个是否能够生成声音。4.如权利要求1所述的方法，还包括：确定第一图像中捕获的一个或多个对象中的第一对象是否能够在外部环境中移动；辨识与第一对象相关联的第一图像内的感兴趣区域；生成与第一对象相关联的感兴趣区域内的飞行路径；以及渲染第二图像，使得对应于第一对象的动态对象表现出沿着飞行计划移动。5.如权利要求1所述的方法，还包括：从电子设备的一个或多个传感器接收与电子设备的外部环境相关联的信息，其中，检索与具有大于预定阈值的优先级值的一个或多个对象中的每一个对应的音频数据是基于与电子设备的外部环境相关联的信息的。6.如权利要求5所述的方法，其中，所述获得第一图像还包括从电子设备的相机接收第一图像，并且其中，第一图像不同于第二图像。7.如权利要求1所述的方法，还包括：在播放动态音频文件之后接收反馈；基于反馈向第一图像中辨识的一个或多个对象中的每一个重新分配优先级值；以及基于重新分配的优先级值重新生成动态音频数据。8.如权利要求1所述的方法，其中，检索与第一图像中辨识的一个或多个对象中的每一个对应的音频数据还包括从数据库中检索与第一图像中辨识的一个或多个对象中的每一个对应的音频数据，并且其中，所述数据库被存储在电子设备中或外部电子设备中。9.如权利要求1所述的方法，其中，检索与具有大于预定阈值的优先级值的一个或多个对象中的每一个对应的音频数据包括：确定与第一图像中辨识的一个或多个对象中的每一个相关联的场景，以及基于场景检索音频数据。10.如权利要求1所述的方法，其中，在显示第二图像时播放动态音频文件还包括当电子设备处于辅助模式时，在显示第二图像时播放动态音频文件。11.一种电子设备，包括：通信接口；扬声器；2CN114270870A权利要求书2/2页显示器；以及至少一个处理器，被配置为：获得第一图像，辨识第一图像中捕获的一个或多个对象，向第一图像中辨识的一个或多个对象中的每一个分配优先级值，检索与具有大于预定阈值的优先级值的一个或多个对象中的每一个对应的音频数据，基于每个检索的音频数据生成动态音频数据，以及在控制显示器显示第二图像时，控制扬声器播放基于动态音频数据的动态音频文件。12.如权利要求11所述的电子设备，其中，第一图像和第二图像相同。13.如权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为确定一个或多个对象中的每一个是否能够生成声音。14.如权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为：确定第一图像中捕获的一个或多个对象中的第一对象是否能够在外部环境中移动，辨识与第一对象相关联的第一图像内的感兴趣区域，生成与第一对象相关联的感兴趣区域内的飞行路径，以及渲染第二图像，使得对应于第一对象的动态对象表现出沿着飞行计划移动。15.如权利要求11所述的电子设备，还包括：一个或多个传感器，其中，所述至少一个处理器还被配置为从一个或多个传感器接收与电子