图像处理方法、电子装置及芯片.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761402A(43)申请公布日2023.03.07(21)申请号202211401279.5G06N3/0464(2023.01)(22)申请日2022.11.09G06N3/084(2023.01)(71)申请人哲库科技（上海）有限公司地址200120上海市浦东新区中国(上海)自由贸易试验区盛夏路61弄1号8层(房产登记楼层7层)01室(72)发明人赵娟萍胡欣(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师钟文聪胡春光(51)Int.Cl.G06V10/774(2022.01)G06V10/80(2022.01)G06V10/26(2022.01)G06V10/764(2022.01)权利要求书2页说明书21页附图9页(54)发明名称图像处理方法、电子装置及芯片(57)摘要本申请实施例公开了一种图像处理方法、电子装置及芯片，该图像处理方法包括：基于预设搜索空间，使用训练数据集进行网络结构搜索，获得特征提取模型；其中，特征提取模型包括骨架网络和特征融合网络；根据特征提取模型和基于实例激活图的分割模型，构建图像处理模型；通过图像处理模型对待处理图像进行图像处理，获得处理后图像。CN115761402ACN115761402A权利要求书1/2页1.一种图像处理方法，其特征在于，所述方法包括：基于预设搜索空间，使用训练数据集进行网络结构搜索，获得特征提取模型；其中，所述特征提取模型包括骨架网络和特征融合网络；根据所述特征提取模型和基于实例激活图的分割模型，构建图像处理模型；通过所述图像处理模型对待处理图像进行图像处理，获得处理后图像。2.根据权利要求1所述的方法，其特征在于，所述骨架网络包括至少一个下采样模块、至少一个瓶颈模块以及至少一个卷积模块；其中，所述下采样模块和所述瓶颈模块均包括卷积层和数据增强层；所述特征融合网络包括至少一个卷积模块和一个连接模块。3.根据权利要求2所述的方法，其特征在于，第i个下采样模块的输出与第i个瓶颈模块的输入连接；其中，i为大于0的整数；所述瓶颈模块的输出分别与所述特征融合网络中的所述卷积模块的输入一一连接；所述特征融合网络中的所述卷积模块的输出均与所述连接模块的输入连接。4.根据权利要求1所述的方法，其特征在于，所述预设搜索空间包括所述骨架网络对应的第一搜索空间，和所述特征融合网络对应的第二搜索空间，所述方法还包括：设计所述第一搜索空间和所述第二搜索空间；其中，所述第一搜索空间和所述第二搜索空间分别由至少一个网络节点和至少一个算子构建。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：基于所述第一搜索空间和所述第二搜索空间，使用所述训练数据集进行可微分神经网络架构搜索的联合搜索训练，确定所述预设搜索空间的初始网络参数对应的优化后网络参数；根据所述优化后网络参数，确定所述骨架网络和所述特征融合网络。6.根据权利要求5所述的方法，其特征在于，所述初始网络参数包括卷积核参数、扩张参数、通道参数以及模型深度参数。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：对于所述至少一个算子中的卷积算子，确定所述卷积算子对应的二进制掩码；根据所述二进制掩码和预设权重值，确定所述卷积算子的卷积核，以实现卷积核的复用。8.根据权利要求1所述的方法，其特征在于，所述基于实例激活图的分割模型包括实例分支的卷积层和掩码分支的卷积层。9.根据权利要求8所述的方法，其特征在于，所述根据所述特征提取模型和基于实例激活图的分割模型，构建图像处理模型，包括：使用所述训练数据集对所述特征提取模型和所述基于实例激活图的分割模型进行训练，获得损失函数；根据所述损失函数对所述特征提取模型和所述基于实例激活图的分割模型进行优化处理，确定所述图像处理模型。10.根据权利要求9所述的方法，其特征在于，所述使用所述训练数据集对所述特征提取模型和所述基于实例激活图的分割模型进行训练，获得损失函数，包括：使用所述骨架网络对所述训练数据集中的原始图像进行下采样处理，获得多个第一特2CN115761402A权利要求书2/2页征图；使用所述特征融合网络对所述多个第一特征图进行特征融合处理，获得第二特征图；将所述第二特征图输入至所述基于实例激活图的分割模型，输出第三特征图，并根据所述第三特征图确定所述损失函数。11.根据权利要求10所述的方法，其特征在于，所述将所述第二特征图输入至所述基于实例激活图的分割模型，输出第三特征图，并根据所述第三特征图确定所述损失函数，包括：将所述第二特征图输入至所述实例分支的卷积层，确定第一实例激活图，并基于所述第一实例激活图确定矩阵掩码、实例类别以及类别置信度；将所述第二特征图输入至所述掩码分支的卷积层，确定第一掩码特征；