基于图像模糊和眼球跟踪的图像压缩方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111757113A(43)申请公布日2020.10.09(21)申请号201910236457.5(22)申请日2019.03.27(71)申请人北京传送科技有限公司地址100024北京市朝阳区朝阳北路五里桥一街一号院非中心商务花园22号楼(72)发明人王维杰武晓旭黄文豪冀德(74)专利代理机构北京律诚同业知识产权代理有限公司11006代理人祁建国梁挥(51)Int.Cl.H04N19/167(2014.01)G06T5/00(2006.01)G06F3/01(2006.01)权利要求书2页说明书4页附图4页(54)发明名称基于图像模糊和眼球跟踪的图像压缩方法和系统(57)摘要本发明涉及一种基于图像模糊和眼球跟踪的图像压缩方法和系统，包括：获取待编码的原始图像，通过跟踪观看者的眼球，得到眼球注视该原始图像的注意区，并将该原始图像中除注意区以外的区域作为非注意区；通过模糊处理降低该原始图像的清晰度，得到压缩图像。由此本发明根据人眼看世界的特性在最终呈现给人眼的图像没必要是每个位置高度清晰的图像，降低注视点周围图像的解析度的主要目的是为了减少原始图像数据量，从数据源端降低图像编码压力，释放硬件的处理能力来提高整个系统的编码能力；引入注视点渲染技术，降低编解码处理的数据量，提高压缩比，渲染技术包括根据注视点位置渲染出其周围的模糊。CN111757113ACN111757113A权利要求书1/2页1.一种基于图像模糊和眼球跟踪的图像压缩方法，其特征在于，包括：步骤1、获取待编码的原始图像，通过跟踪观看者的眼球，得到眼球注视该原始图像的注意区，并将该原始图像中除注意区以外的区域作为非注意区；步骤2、通过模糊处理降低该原始图像的清晰度，得到压缩图像。2.如权利要求1所述的基于图像模糊和眼球跟踪的图像压缩方法，其特征在于，该步骤1还包括：步骤11、为观看者播放多个训练图像，通过跟踪观看者的眼球，标记每一个该训练图像的注意区，将已标记注意区的训练图像作为训练数据，训练机器学习模型，得到注意区划分模型，步骤12、将该原始图像输入至该注意区划分模型，以得到该原始图像的注意区。3.如权利要求1所述的基于图像模糊和眼球跟踪的图像压缩方法，其特征在于，该步骤1还包括：步骤13、将该原始图像直接播放给观看者，得到观看者眼球注视该原始图像的注意区，作为该原始图像的注意区。4.如权利要求2或3所述的基于图像模糊和眼球跟踪的图像压缩方法，其特征在于，该步骤2还包括：步骤21、在该注意区和该非注意区的交界处设有渐变区，该渐变区靠近该注意区的画面清晰度高于该渐变区靠近该非注意区的画面清晰度。5.如权利要求4所述的基于图像模糊和眼球跟踪的图像压缩方法，其特征在于，步骤2中该模糊处理包括：高斯模糊、景深模糊。6.一种基于图像模糊和眼球跟踪的图像压缩系统，其特征在于，包括：模块1、获取待编码的原始图像，通过跟踪观看者的眼球，得到眼球注视该原始图像的注意区，并将该原始图像中除注意区以外的区域作为非注意区；模块2、通过模糊处理降低该原始图像的清晰度，得到压缩图像。7.如权利要求6所述的基于图像模糊和眼球跟踪的图像压缩系统，其特征在于，该模块1还包括：模块11、为观看者播放多个训练图像，通过跟踪观看者的眼球，标记每一个该训练图像的注意区，将已标记注意区的训练图像作为训练数据，训练机器学习模型，得到注意区划分模型，模块12、将该原始图像输入至该注意区划分模型，以得到该原始图像的注意区。8.如权利要求6所述的基于图像模糊和眼球跟踪的图像压缩系统，其特征在于，该模块1还包括：模块13、将该原始图像直接播放给观看者，得到观看者眼球注视该原始图像的注意区，作为该原始图像的注意区。9.如权利要求6或7所述的基于图像模糊和眼球跟踪的图像压缩系统，其特征在于，该模块2还包括：模块21、在该注意区和该非注意区的交界处设有渐变区，该渐变区靠近该注意区的画面清晰度高于该渐变区靠近该非注意区的画面清晰度。10.如权利要求9所述的基于图像模糊和眼球跟踪的图像压缩系统，其特征在于，模块22CN111757113A权利要求书2/2页中该模糊处理包括：高斯模糊、景深模糊。3CN111757113A说明书1/4页基于图像模糊和眼球跟踪的图像压缩方法和系统技术领域[0001]本发明涉及VR或AR或MR中的视频编解码领域，并特别涉及一种基于图像模糊和眼球跟踪的图像压缩方法和系统。背景技术[0002]以往的处理过程中，并没有引入注视点跟踪技术，而是采用直接压缩的模式。鉴于人眼视觉的注视点原理，如果把硬件处理的能力完全平分在整个图像上，那么大部分的计算工作其实是浪费掉的。也就是说以往的处理过程中，有大部分数据的处理是冗余的，这些数据的处理