一种基于卷积神经网络生成的语义分割图像优化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255343A(43)申请公布日2022.03.29(21)申请号202010952682.1G06T7/11(2017.01)(22)申请日2020.09.11G06T7/136(2017.01)(71)申请人孙子棠地址712000陕西省咸阳市渭城区延安大学咸阳医院内41号楼(72)发明人孙子棠贾宗衡王若静许冬(74)专利代理机构北京同辉知识产权代理事务所(普通合伙)11357代理人江舟(51)Int.Cl.G06V10/26(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/00(2006.01)G06T5/50(2006.01)权利要求书3页说明书7页附图1页(54)发明名称一种基于卷积神经网络生成的语义分割图像优化方法(57)摘要本发明公开了一种基于卷积神经网络生成的语义分割图像优化方法，涉及图像分割技术领域，包括以下步骤：将高清的自然图片输入至全卷积神经网络FCN中通过编码器获得不同尺度的特征图，并经过解码器初步输出待优化的分割图像；对不同尺度的特征图采用交叉门控卷积，输出语义边界图像；根据卷积神经网络分割结果的概率分布计算出信息熵，得到熵分布图像；根据语义边界图像与熵分布图像采用一种基于蒙特卡洛采样和梯度下降迭代式的优化算法对分割图像进一步优化并输出最终优化后分割图像。本发明旨在提高生成结果在微小目标及不同目标的边缘交汇区域的分割精度，使得卷积神经网络在处理小目标时的鲁棒性和准确度大幅度提高。CN114255343ACN114255343A权利要求书1/3页1.一种基于卷积神经网络生成的语义分割图像优化方法，其特征在于，包括以下步骤：A：将高清的自然图片输入至全卷积神经网络FCN的编码器中得到不同尺度的特征图，并输出待优化的分割图像；对不同尺度的特征图采用交叉门控卷积，输出语义边界图像；根据卷积神经网络分割结果的概率分布计算出信息熵，得到熵分布图像；B：计算语义边界图像与熵分布图像的梯度并匹配八个基准方向；根据熵分布图像与语义边界图像建立高斯混合模型；C：根据建立的高斯混合模型，通过蒙特卡洛采样的方式随机采取图像中的一个点，查询其对应的语义边界图的数值，与预设的阈值进行比较，选择语义边界梯度或者熵分布梯度作为参考方向，依据参考方向，向选取点的周围8临域移动；D：将移动中路经像素的熵值和预测结果存入列表L中，基于多数投票原则更新列表L中所有元素的预测结果和熵；E：重复步骤C-D，最终输出优化后的图像。2.根据权利要求1所述的一种基于卷积神经网络生成的语义分割图像优化方法，其特征在于，所述步骤A中交叉门控卷积的具体步骤包括：A1：通过1×1卷积将神经网络编码主干上的深层特征压缩到32通道密集表示空间；A2：根据边界流的特征图和编码器的特征图得到两个注意力热图，分别表示为αs和αr，可以由下式表示：其中||表示拼接，通过合并两个不同流的特征图，然后使用卷积核参数为s的1×1卷积进行融合，最后使用Sigmoid激活函数生成注意力图αs，通过合并两个不同流的特征图，然后使用卷积核参数为r的1×1卷积进行融合，最后使用Sigmoid激活函数生成注意力图αr，所述r和s并不相等，r和s均是通过卷积神经网络训练得到的，H为图像长度，W为图像宽度，m为下采样的步幅，C是边界流特征图的通道数，C1为卷积神经网络主干特征图的通道数，ki表示卷积神经网络中的不同尺度的特征图的层数；A3：使用两张生成的注意力热图的图作为门控，执行门控卷积，可由下式表示：首先将来自编码主干的特征图和来自边界流的特征图通过逐元素的点积，随后使用1×1卷积输出结果；其中，⊙是逐元素点积操作。3.根据权利要求2所述的一种基于卷积神经网络生成的语义分割图像优化方法，其特征在于，所述步骤A中，卷积神经网络生成的分割结果为K为语义分割标签类别数量，信息熵则对于每一个像素pij，其信息熵可由下式表示：2CN114255343A权利要求书2/3页其中k表示不同的语义类别，而表示像素pij属于第k个标签的概率值。4.根据权利要求3所述的一种基于卷积神经网络生成的语义分割图像优化方法，其特征在于，所述步骤B中计算梯度的具体步骤包括：B1：使用sobel算子计算熵分布和语义边界的梯度；Sobel算子包含两组3x3的矩阵，分别为横向及纵向模板，将之与图像作平面卷积，即可分别得出横向及纵向的梯度差分近似值；B2：计算熵分布和语义边界的梯度的角度，并转换成极坐标表示，整个过程可由由下式计算：Gθ＝artan2(Sobel(fg(input)))其中input是输入的熵或者语义边界图像；fg(·)是一个用于降噪的高斯滤波器，使用arctan2函数可以将一个二维