可变码率图像压缩方法、系统、装置、终端及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115988215A(43)申请公布日2023.04.18(21)申请号202211605816.8G06T9/00(2006.01)(22)申请日2022.12.12G06N3/045(2023.01)G06N3/0464(2023.01)(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人戴文睿李劭辉李成林邹君妮熊红凯(74)专利代理机构上海恒慧知识产权代理事务所(特殊普通合伙)31317专利代理师徐红银张琳(51)Int.Cl.H04N19/42(2014.01)H04N19/91(2014.01)H04N19/124(2014.01)H04N19/147(2014.01)H04N19/184(2014.01)权利要求书4页说明书11页附图2页(54)发明名称可变码率图像压缩方法、系统、装置、终端及存储介质(57)摘要本发明提供一种可变码率图像压缩方法、系统、装置、终端及存储介质，包括：待编码图像通过第一分解变换神经网络获得初始特征图；通过死区量化器对初始特征图量化获得量化特征图；利用熵模型对量化特征图及超先验信息进行熵编码获得压缩码流；对压缩码流进行熵解码，利用熵模型恢复量化的超先验信息及量化特征图；反量化量化特征图获得重构特征图；将重构特征图通过第一合成变换神经网络获得重构图像；根据目标码率或目标失真，对编码过程中的量化以及反量化的参数进行调整，使压缩码流的码率接近目标码率，或使重构图像的失真接近目标失真。本发明提供准确的码率控制方案，使压缩码流码率更好地适配动态网络带宽变化，具有极强的实际应用价值。CN115988215ACN115988215A权利要求书1/4页1.一种可变码率图像压缩方法，其特征在于，包括：正向映射：将待编码图像通过第一分解变换神经网络，得到图像的初始特征图；量化：通过死区量化器对所述初始特征图进行量化，得到图像的量化特征图；熵编码：利用熵模型对所述量化特征图及熵模型中所涉及的量化的超先验信息进行熵编码，得到压缩码流；熵解码：对所述压缩码流进行熵解码，并利用熵模型依次恢复量化的超先验信息及量化特征图；反量化：对所述恢复的量化特征图进行反量化，得到图像的重构特征图；反向映射：将所述重构特征图通过第一合成变换神经网络，得到重构图像；码率控制：根据目标码率或目标失真，对编码过程中的量化以及反量化的参数进行调整，使所述压缩码流的码率接近目标码率，或使所述重构图像的失真接近目标失真。2.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述第一分解变换神经网络，包括：下采样子网络，所述下采样子网络由卷积神经网络实现，将输入图像变换为隐表示；可逆编码子网络，所述可逆编码子网络将所述隐表示变换为初始特征图；所述可逆编码子网络由可逆编码单元通过层级化排列得到，所述层级化排列中包含I层，而第i层(1≤i≤I)中包含有2i‑1个可逆编码单元，每个所述可逆编码单元具有两个输出，且第i层可逆编码单元的两个输出作为第i+1层中两个可逆编码单元的输入，对于第1层的唯一一个可逆编码单元，其输入为隐表示；而对于第I层所提供的2I个输出，通过合并可以得到初始特征图。3.根据权利要求2所述的一种可变码率图像压缩方法，其特征在于，在所述可逆编码单元进行的过程，包括：特征分解：对输入进行划分，得到两路子信号；可逆编码：对于两路子信号x1与x2，所述可逆编码过程包括：其中，与均为卷积神经网络。4.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述量化为通过调整死区量化器的量化步长，输出满足目标码率或目标失真要求的量化特征图；对于所述初始特征图中任意位置的元素y，量化输出为其中，当y为正数时，sign(y)为1，当y为负数时，sign(y)为‑1，当y为零时，sign(y)为0；max(a，b)返回a，b中较大的那一个；返回不大于y的最大的整数；g为量化步长，z为死区比率。5.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述熵编码包括：采用熵模型估计所述量化特征图上元素的高斯分布，对所述量化特征图进行算术编码，采用构造分布对量化的超先验信息进行算术编码，得到压缩码流。6.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述熵解码包括：2CN115988215A权利要求书2/4页采用构造分布对所述量化的超先验信息进行算术解码，并将其输入熵模型，得到量化特征图的码字分布，对所述压缩码流进行算术解码，恢复量化特征图。7.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述反量化为所述量化的逆向过程，使用的量化步长、死区比率与所述量化一致，对于所述恢复的量化特征图中任意位置的元素反量化输出为：其中，q