图像处理、图像处理模型的训练方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283152A(43)申请公布日2022.04.05(21)申请号202110951040.4(22)申请日2021.08.18(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人林一曲志勇(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06T7/11(2017.01)G06T9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书34页附图7页(54)发明名称图像处理、图像处理模型的训练方法、装置、设备及介质(57)摘要本申请公开了一种图像处理、图像处理模型的训练方法、装置、设备及介质，属于人工智能技术领域，涉及人工智能技术领域中的计算机视觉技术。该图像处理方法包括：获取待处理图像和图像处理模型，图像处理模型包括编码模型和解码模型，编码模型包括注意力模型和卷积模型，注意力模型基于全局信息进行编码，卷积模型基于局部信息进行编码；调用注意力模型和卷积模型基于全局信息和局部信息对待处理图像进行编码，得到目标编码特征；调用解码模型对目标编码特征进行解码，得到目标图像特征；基于目标图像特征，获取分割结果。此方式，目标图像特征通过综合关注全局信息和局部信息得到，关注的信息较丰富，可靠性较高，有利于提高分割结果的准确性。CN114283152ACN114283152A权利要求书1/4页1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像和图像处理模型，所述图像处理模型包括编码模型和解码模型，所述编码模型包括注意力模型和卷积模型，所述注意力模型基于全局信息进行编码，所述卷积模型基于局部信息进行编码；调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征；调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征；基于所述目标图像特征，获取所述待处理图像的分割结果。2.根据权利要求1所述的方法，其特征在于，所述编码模型的数量为至少一个，所述调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征，包括：调用第一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征和连接特征；从第二个编码模型开始，调用下一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对上一个编码模型输出的基础特征进行编码，得到下一个编码模型输出的基础特征和连接特征，直至得到倒数第二个编码模型输出的基础特征和连接特征，从所述第一个编码模型到所述倒数第二个编码模型的各个编码模型输出的连接特征用于为执行调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征的步骤提供数据支持；调用最后一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述倒数第二个编码模型输出的基础特征进行编码，得到所述最后一个编码模型输出的连接特征，将所述最后一个编码模型输出的连接特征作为所述目标编码特征。3.根据权利要求2所述的方法，其特征在于，所述第一个编码模型中的注意力模型包括第一注意力模型，所述调用第一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征和连接特征，包括：调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征；基于所述第一个编码模型输出的基础特征，获取所述第一个编码模型输出的连接特征。4.根据权利要求3所述的方法，其特征在于，所述调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征，包括：调用所述第一个编码模型中的卷积模型基于局部信息对所述待处理图像进行编码，得到第一编码特征；调用所述第一注意力模型基于全局信息对所述待处理图像进行编码，得到第二编码特征；对所述第一编码特征和所述第二编码特征进行融合，得到融合特征；基于所述融合特征，获取所述第一个编码模型输出的基础特征。5.根据权利要求4所述的方法，其特征在于，所述调用所述第一注意力模型基于全局信2CN114283152A权利要求书2/4页息对所述待处理图像进行编码，得到第二编码特征，包括：获取所述待处理图像的各个图像块的块特征，对所述各个图像块的块特征进行映射，得到所述各个图像块的映射特征；获取图像块位置特征；基于所述各个图像块的映射特征和所述图像块位置特征，获取所述待处理图