图像处理方法、装置和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111783779A(43)申请公布日2020.10.16(21)申请号201910875284.1(22)申请日2019.09.17(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人刘鑫辰刘武梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人孙玉方亮(51)Int.Cl.G06K9/34(2006.01)G06K9/46(2006.01)G06T7/10(2017.01)权利要求书3页说明书14页附图4页(54)发明名称图像处理方法、装置和计算机可读存储介质(57)摘要本公开涉及一种图像处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，细节提取模型用于获取待处理图像的细节特征；获得语义分割模型输出的待处理图像的第一特征张量，以及细节提取模型输出的待处理图像的第二特征张量；根据第一特征张量和第二特征张量，确定待处理图像中各个像素点所属的类别，从而确定待处理图像的分割结果；其中，图像分割网络还包括：辫形模块；语义分割模型的中间层和对应的细节提取模型的中间层通过辫形模块连接；辫形模块用于对语义分割模型的中间层输出的特征张量和细节提取模型的中间层输出的特征张量进行融合。CN111783779ACN111783779A权利要求书1/3页1.一种图像处理方法，包括：将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，所述细节提取模型用于获取所述待处理图像的细节特征；获得所述语义分割模型输出的所述待处理图像的第一特征张量，以及所述细节提取模型输出的所述待处理图像的第二特征张量；根据所述第一特征张量和第二特征张量，确定所述待处理图像中各个像素点所属的类别，从而确定所述待处理图像的分割结果；其中，所述图像分割网络还包括：辫形模块；所述语义分割模型的中间层和对应的所述细节提取模型的中间层通过辫形模块连接；所述辫形模块用于对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合。2.根据权利要求1所述的图像处理方法，其中，所述辫形模块的数量为至少一个；在所述辫形模块的数量为多个的情况下，不同的辫形模块分别连接所述语义分割模型的不同卷积层和所述细节提取模型的不同卷积层。3.根据权利要求2所述的图像处理方法，其中，所述对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合包括：针对每个辫形模块，将所述语义分割模型的一个卷积层输出的特征张量和所述细节提取模型的一个卷积层输出的特征张量输入所述辫形模块，分别得到所述辫形模块输出的所述语义分割模型对应的融合后的特征张量，以及所述辫形模块输出所述细节提取模型对应的融合后的特征张量；将所述语义分割模型对应的融合后的特征张量输入所述语义分割模型下一个卷积层；将所述细节提取模型对应的融合后的特征张量输入所述细节提取模型下一个卷积层。4.根据权利要求2所述的图像处理方法，其中，所述辫形模块包括第一融合子模块和第二融合子模块；所述对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合包括：将所述语义分割模型的一个卷积层输出的特征张量和对应的所述细节提取模型的一个卷积层输出的特征张量，输入第一融合子模块，得到输出的语义分割模型对应的融合后的特征张量；将所述语义分割模型的所述卷积层输出的特征张量和所述细节提取模型的所述卷积层输出的特征张量，输入第二融合子模块，得到输出的细节提取模型对应的融合后的特征张量。5.根据权利要求4所述的图像处理方法，其中，在第一融合子模块中，根据输入的细节提取模型对应的特征张量的尺寸，调整语义分割模型对应的特征张量长和宽两个维度的尺寸，将输入的细节提取模型对应的特征张量和调整后的语义分割模型对应的特征张量进行特征级联，得到第一级联特征；根据不同通道的第一权重，对第一级联特征进行调整，得到语义分割模型对应的融合后的特征张量；在第二融合子模块中，根据输入的语义分割模型对应的特征张量的尺寸，调整细节提取模型对应的特征张量长和宽两个维度的尺寸，将输入的语义分割模型对应的特征张量和2CN111783779A权利要求书2/3页调整后的细节提取模型对应的特征张量进行特征级联，得到第二级联特征；根据不同通道的第二权重，对第二级联特征进行调整，得到细节提取模型对应的融合后的特征张量。6.根据权利要求5所述的图像处理方法，其中，所述根据不同通道的第一权重，对第一级联特征进行调整包括：将第一级联特征经过