基于Transformer的双分支互补语义线检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908912A(43)申请公布日2023.04.04(21)申请号202211429951.1(22)申请日2022.11.14(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人童超马伯乐王煜(74)专利代理机构北京卓特专利代理事务所(普通合伙)11572专利代理师田冰段旺(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/0455(2023.01)G06N3/09(2023.01)权利要求书3页说明书11页附图3页(54)发明名称基于Transformer的双分支互补语义线检测方法(57)摘要语义线对于场景感知与场景理解等高级视觉任务具有重要意义。由于能够利用简单的线结构为图像场景赋予直观的视觉解释，语义线检测任务近年来受到了更多的关注。然而现有的语义线检测方法存在模型难以端到端优化、正负类别样本数量不平衡以及缺少全局建模导致线语义关联性低的问题。为解决上述问题，本发明以Transformer模型作为主体结构，设计并实现了基于Transformer的双分支互补语义线检测模型及互补检测方法。该方法的整体检测流程可分为三个阶段：(1)多尺度图像特征的提取与利用深度霍夫变换的空间变换(2)由粗粒度到细粒度的双分支解码(3)实现热图预测方法和参数回归方法的语义线互补检测。CN115908912ACN115908912A权利要求书1/3页1.基于Transformer的双分支互补语义线检测方法，其特征在于可以实现对线语义上下文进行局部建模和全局交互,可以实现更全面地捕获语义线并且可以为端到端监督学习训练优化过程提供帮助，包括以下步骤：步骤1、使用模型编码器提取多尺度图像特征，并利用深度霍夫变换将深度特征表示由图像空间转换至霍夫参数空间，本步骤具体包括：步骤1.1骨干网络输入原始图像I，经过四阶段特征编码后得到一组多尺度特征图步骤1.2完成图像特征提取步骤后，通过扩展传统图像处理领域中的霍夫变换方法得到的深度霍夫变换操作，此时需要设定量化间隔，将连续取值的线参数量化至离散空间；步骤1.3使用深度霍夫变换操作对图像特征进行空间变换，以便在后续解码流程中更紧凑地表示线结构语义信息；步骤1.4在量化的过程同时计算量化级数，其中，深度霍夫变换对各层特征图采用固定的角度量化级数以及逐层增加的距离量化级数；步骤1.5对于任意一条直线l，其对应的图像特征在深度霍夫变换后的参数空间特征图H中被聚集至点其中i为位置索引，为直线l对应的量化后的线参数；最终，将经过深度霍夫变换的输出通过变换得到霍夫参数空间中的多尺度特征图其中DHT(·)表示深度霍夫变换，为多尺度特征图；步骤2、由粗粒度到细粒度的双分支解码；在获得霍夫参数空间中的多尺度特征图之后，利用模型解码器从最高层级的粗粒度特征图开始解码，并向下逐层迭代接收汇聚更细粒度的语义信息；从整体上看，解码器具有双分支结构，分别称为语义内容分支和语义查询分支；从局部上看，这两个分支在解码器的每个层级中分别由语义内容模块和语义查询模块堆叠构建而成；本步骤具体包括：步骤2.1语义内容模块以Transformer块作为主体，用于挖掘特征中包含的有价值的语义内容信息，本模块具体包括：步骤2.1.1在语义内容模块设计了一种双侧区域注意力机制，以替代Transformer块原本使用的多头自注意力机制，提升其在处理密集特征表示上的性能和效率；步骤2.1.2双侧区域注意力模块直接接收参数空间特征图作为输入，并按照流程执行双侧区域特征生成，其目的是为每条隐式候选线汇聚双侧区域特征信息，形成一组可以分别描述线结构左侧、右侧区域特征的双侧区域特征图，首先生成高斯加权特征图；步骤2.1.3将得到的每张高斯加权特征图按参考轴拆分为左右两部分区域特征，得到拆分区域特征图；之后将各区域特征聚集为一个像素点表示；再将以不同列为参考轴计算的区域聚集特征在列的维度上拼接，构成与参数空间特征图同尺度的双侧区域特征图；步骤2.1.4采用余弦相似度其中i表示双侧区域特征图位置索引，‖·‖表示向量的模，和为双侧区域特征生成流程最终得到的一组双侧区域特征图，每个像素点特征的含义为其对应线结构的双侧区域语义信息；用该相似度来衡量双侧区域的语义相似度，从而对比双侧区域语义信息的异质性程度；该过程为双侧区域特征图中的每个像素位置计算了其对应线结构双侧区域的语义相似度，相似度越高则代表左右两部分区域语义差异程度越小；2CN115908912A权利要求书2/3页步骤2.1.5通过计算双侧区域注意力图Ac，其中和为双侧区域特征生成流程最终得到的一组双侧区域特征图；在获得双侧区