用于虚拟现实图像的图像增强的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108369750A(43)申请公布日2018.08.03(21)申请号201680070675.0A.萨克纳(22)申请日2016.12.02(74)专利代理机构北京市柳沈律师事务所(30)优先权数据1110562/262,4342015.12.03US代理人邵亚丽62/290,0462016.02.02US(51)Int.Cl.15/255,1292016.09.01USG06T19/00(2006.01)(85)PCT国际申请进入国家阶段日G06T5/00(2006.01)2018.06.01G06T3/00(2006.01)H04N5/235(2006.01)(86)PCT国际申请的申请数据PCT/KR2016/0140932016.12.02(87)PCT国际申请的公布数据WO2017/095179EN2017.06.08(71)申请人三星电子株式会社地址韩国京畿道(72)发明人H.纳贾夫-扎德M.布达加维权利要求书1页说明书10页附图9页(54)发明名称用于虚拟现实图像的图像增强的方法和装置(57)摘要一种用户装置(UE)，包括接收器、至少一个传感器以及处理器。接收器被配置为接收包括至少一个编码图像和用于所述至少一个编码图像的元数据的信号。传感器被配置为确定用户的视点信息。处理器被配置为基于元数据和视点信息来渲染所述至少一个编码图像。CN108369750ACN108369750A权利要求书1/1页1.一种用户装置(UE)，包括：接收器，被配置为接收包括至少一个编码图像和用于所述至少一个编码图像的元数据的信号；至少一个传感器，被配置为确定用户的视点信息；以及处理器，被配置为基于所述元数据和所述视点信息来渲染所述至少一个编码图像。2.如权利要求1所述的UE，其中所述至少一个编码图像包括多个片段。3.如权利要求2所述的UE，其中元数据包括分段元数据和用于所述多个片段中的每个片段的至少一个色调映射函数。4.如权利要求2所述的UE，其中所述多个片段中的每个片段的大小是相同的。5.如权利要求1所述的UE，其中视点信息包括俯仰信息和偏转信息。6.如权利要求5所述的UE，其中处理器被配置为基于所述俯仰信息和偏转信息来确定视口。7.如权利要求6所述的UE，其中处理器被配置为渲染与所述视口对应的所述至少一个编码图像的部分。8.如权利要求7所述的UE，其中处理器被配置为：基于所述元数据导出所述视口的色调映射函数；以及将所导出的色调映射函数应用于所述至少一个编码图像的部分。9.如权利要求1所述的UE，其中所述UE是头戴式显示器(HMD)。10.一种用于操作用户装置(UE)的方法，所述方法包括：基于所述UE的朝向来确定用于媒体的视口；导出与由所述视口定义的所述媒体的部分对应的色调映射函数；以及基于所述色调映射函数来渲染所述媒体的部分。11.如权利要求10所述的方法，其中确定所述视口包括：从所述UE中的一个或多个传感器接收俯仰信息和偏转信息；以及基于所述俯仰信息和偏转信息来计算边界框。12.如权利要求10所述的方法，其中所述媒体包括多个片段并且导出色调映射函数包括：确定包括在所述视口中的片段的数量；确定多个色调映射函数，每个色调映射函数与包括在所述视口中的片段对应；对所述多个色调映射函数求平均。13.如权利要求10所述的方法，其中所述媒体是包括多个帧的视频。14.如权利要求13所述的方法，其中所述方法还包括对所述多个帧中的每一帧应用空间平滑。15.如权利要求13所述的方法，其中所述方法还包括对所述多个帧中的每一帧应用时间平滑。2CN108369750A说明书1/10页用于虚拟现实图像的图像增强的方法和装置技术领域[0001]本公开一般涉及图像增强。更具体地，本公开涉及用于虚拟现实图像的图像增强的方法和装置。背景技术[0002]目前，新的高动态范围(HDR)相机和显示器正变得越来越突出。HDR相机可以捕获强度范围从0.01到约10000尼特的图像。虽然工作室主要创建HDR内容，但是由于HDR相机和显示器的高成本，它们还没有到达普通消费者。[0003]此外，大多数消费者仍然拥有SDR显示器。还可以期待的是HDR显示器将长期比SDR显示器昂贵，并且普通消费者将只能使用SDR显示器。发明内容[0004]技术问题[0005]在本领域中需要增强虚拟现实图像，以便结合用户的图像的实际视点提供临时(contingent)图像。[0006]问题的解决方案[0007]本公开提供了用于虚拟现实图像的依赖视图的色调映射的方法和装置。[0008]在第一实施例中，用户装置(UE)包括接收器、至少一个传感器和处理器。接收器被配置为接收包括至少一个编码图像和用于所述至少一个编码图像的元数据的信号