基于非局部特征的图像增强系统、图像增强方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965543A(43)申请公布日2023.04.14(21)申请号202211461327.XG06N3/08(2023.01)(22)申请日2022.11.21G06N3/0464(2023.01)(30)优先权数据17/545,6242021.12.08US(71)申请人黑芝麻智能科技（重庆）有限公司地址401120重庆市渝北区仙桃街道数据谷中路101号3单元2层(72)发明人沈山岚段宇波(74)专利代理机构北京布瑞知识产权代理有限公司11505专利代理师宋琪(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06V10/77(2022.01)权利要求书3页说明书8页附图10页(54)发明名称基于非局部特征的图像增强系统、图像增强方法(57)摘要本发明公开了一种基于非局部特征的图像增强系统和方法。本发明包括一种端到端的可训练引导系统，该系统包括特征提取块、非局部特征生成器以及非局部特征增强块，旨在利用非局部特征概念处理低级图像问题。本发明还采用非局部特征合并块校正平移特征，进一步改进非局部特征，最终重构校正后的特征以形成增强图像。CN115965543ACN115965543A权利要求书1/3页1.一种用于增强图像的图像增强系统，包括：特征提取模块，用于接收图像，其中，所述特征提取模块包括：处理单元，其中，所述处理单元处理所述图像的至少一帧以生成多个特征合并层，所述处理单元进一步将所述多个特征合并层中的至少一个特征合并层与条件图连接，以形成一个或多个合并特征图；以及提取单元，其中，所述提取单元从所述一个或多个合并特征图中提取多个特征提取层，所述提取单元还从所述多个特征提取层中提取多个特征；非局部特征生成器，其中，所述非局部特征生成器对所述多个特征进行平移，以形成一个或多个平移特征图；以及非局部特征增强模块，其中，所述非局部特征增强模块对所述一个或多个平移特征图进行合并，以形成一个或多个非局部合并特征图，其中，所述非局部特征增强模块包括：重构单元，其中，所述重构单元基于所述一个或多个非局部合并特征图构造多个重构层；以及连接单元，其中，所述连接单元连接所述多个重构层与所述条件图，以形成增强图像。2.根据权利要求1所述的图像增强系统，其中，所述非局部特征增强模块内的非局部特征合并块NLFMB模型识别像素之间的关系以形成所述增强图像。3.根据权利要求2所述的图像增强系统，其中，所述非局部特征合并块NLFMB在形成所述一个或多个非局部合并特征图之前对所述一个或多个平移特征图进行检查并校正。4.根据权利要求1所述的图像增强系统，其中，所述条件图为用于去噪的噪声水平图。5.根据权利要求1所述的图像增强系统，其中，所述条件图通过对所述多个特征合并层施加锐度权重形成所述一个或多个合并特征图来增强图像。6.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器通过时间维度检查空间相似性，以降低计算成本。7.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器在所述多个特征上生成九个不同方向，形成所述多个特征平移层。8.根据权利要求1所述的图像增强系统，其中，所述非局部特征增强模块包括深度学习块，以避免所述多个特征提取层之间产生大的移位。9.根据权利要求8所述的图像增强系统，其中，所述深度学习块基于可变形卷积网络DCN、自注意力机制和三维卷积网络中的任意一个。10.根据权利要求9所述的图像增强系统，其中，所述DCN识别所述一个或多个非局部合并特征图之间的关系以用于配准。11.根据权利要求9所述的图像增强系统，其中所述自注意力机制检查所述一个或多个非局部合并特征图的像素关系。12.根据权利要求9所述的图像增强系统，其中，所述自注意力机制包括空间注意力和时间注意力。13.根据权利要求9所述的图像增强系统，其中，所述三维卷积网络合并所述一个或多个平移特征图以识别至少一个平移特征图，以形成所述一个或多个非局部合并特征图。14.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器在U‑Net编码器中提取所述多个特征。15.一种基于非局部特征处理图像的图像增强系统，其中，所述图像增强系统包括：2CN115965543A权利要求书2/3页特征提取模块，用于接收图像，其中所述特征提取模块包括：处理单元，其中，所述处理单元处理所述图像的至少一帧以生成多个特征合并层，所述处理单元进一步将所述多个特征合并层中的至少一个特征合并层与条件图连接，以形成一个或多个合并特征图；以及提取单元，其中，所述提取单元从所述一个或多个合并特征图中提取多个特征提取层，所述提取单元还从所述多个特征提取层中提取多个特征；非局部特征生成器，其中，所述非局部特征生