预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共28页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113170158A(43)申请公布日2021.07.23(21)申请号201980076231.1(74)专利代理机构北京市汉坤律师事务所(22)申请日2019.11.1511602代理人魏小薇吴丽丽(30)优先权数据18207029.22018.11.19EP(51)Int.Cl.62/769,2232018.11.19USH04N19/31(2006.01)H04N5/235(2006.01)(85)PCT国际申请进入国家阶段日H04N5/232(2006.01)2021.05.19(86)PCT国际申请的申请数据PCT/US2019/0616272019.11.15(87)PCT国际申请的公布数据WO2020/106559EN2020.05.28(71)申请人杜比实验室特许公司地址美国加利福尼亚州(72)发明人G·J·沃德权利要求书3页说明书16页附图8页(54)发明名称视频编码器和编码方法(57)摘要一种图像传感器包括多个像素,每个像素属于N个子帧之一,每个子帧由以下各项来表征:(a)相同的曝光时间序列,该曝光时间序列包括与长曝光时间交替的短曝光时间,以及(b)相应的时间偏移,该时间偏移等于短曝光时间的倍数。一种用于对由图像传感器捕获的视频流进行编码的方法包括:(i)对于每个子帧,将以长曝光时间捕获的长曝光图像和以短曝光时间捕获的短曝光图像线性组合,以产生残差图像;(ii)组合来自N个子帧的长曝光图像中的至少一些,以产生具有比任何长曝光图像更高分辨率的全帧图像;(iii)将全帧图像编码到视频流的基本层中;以及(iv)将来自N个子帧的残差图像中的至少一些编码到视频流的增强层中。CN113170158ACN113170158A权利要求书1/3页1.一种用于对由图像传感器捕获的视频流进行编码的方法,所述图像传感器包括多个像素,每个像素属于N个子帧之一,其中,每个子帧的像素基本均匀地分布在图像传感器区域的某区域上,每个子帧由以下各项来表征:(i)相同的曝光时间序列,所述曝光时间序列包括与长曝光时间交替的短曝光时间,以及(ii)相应的时间偏移,所述时间偏移等于所述短曝光时间的整数倍,所述方法包括:针对所述N个子帧中的每个子帧,将以所述长曝光时间捕获的长曝光低分辨率图像和以所述短曝光时间捕获的短曝光低分辨率图像线性组合,以产生子帧残差图像;组合来自所述N个子帧的所述长曝光低分辨率图像中的至少一些长曝光低分辨率图像,以产生具有比任何长曝光低分辨率图像更高分辨率的全帧长曝光图像,其中,所述长曝光低分辨率图像中的所述至少一些长曝光低分辨率图像包括所述图像传感器的所有像素;将所述全帧长曝光图像编码到所述视频流的基本层中;以及将来自所述N个子帧的所述子帧残差图像中的至少一些子帧残差图像编码到所述视频流的增强层中。2.如权利要求1所述的方法,所述短曝光低分辨率图像包括多个短曝光像素值,所述长曝光低分辨率图像包括多个长曝光像素值,所述方法进一步包括:将所述多个短曝光像素值中的红色像素值、绿色像素值和蓝色像素值存储在存储器缓冲区的相应部分中;以及将所述多个长曝光像素值中的红色像素值、绿色像素值和蓝色像素值存储在所述存储器缓冲区的相应部分中。3.如权利要求1或权利要求2所述的方法,所述长曝光低分辨率图像包括多个长曝光像素值,并且组合的步骤包括:通过将所述多个长曝光像素值中的每一个除以所述长曝光时间与所述短曝光时间的比率来缩放所述长曝光低分辨率图像,从所述短曝光低分辨率图像中减去经缩放的长曝光低分辨率图像。4.如任一前述权利要求所述的方法,组合的步骤在逐像素的基础上执行。5.如任一前述权利要求所述的方法,在组合的步骤中,N为使得(N‑1)是最接近于所述长曝光时间除以所述短曝光时间的整数。6.如任一前述权利要求所述的方法,进一步包括,针对所述N个子帧中的每个子帧并且在组合的步骤之前,对所述短曝光低分辨率图像和所述长曝光低分辨率图像中的至少一个进行去噪。7.如任一前述权利要求所述的方法,进一步包括,针对所述N个子帧中的每个子帧并且在组合的步骤之前,降低来自所述长曝光低分辨率图像和所述短曝光低分辨率图像中的至少一个的固定模式噪声。8.如任一前述权利要求所述的方法,进一步包括,针对所述N个子帧中的每个子帧并且在组合的步骤之前,对所述长曝光低分辨率图像和所述短曝光低分辨率图像中的至少一个进行钳位。9.如任一前述权利要求所述的方法,进一步包括,针对所述N个子帧中的每个子帧,进行以下中的至少一项操作:(i)对所述子帧残差图像进行感知编码;以及(ii)对所述子帧残差图像进行块编码。2CN113170158A权利要求书2/3页10.如任一前述权利要求所述的方法,进一步包括:在对所述全帧长曝