一种复杂场景底层视觉信息提取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112036408A(43)申请公布日2020.12.04(21)申请号202010758709.3(22)申请日2020.07.31(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人杜俊敏顾昊舒(74)专利代理机构北京航智知识产权代理事务所(普通合伙)11668代理人黄川史继颖(51)Int.Cl.G06K9/34(2006.01)G06N3/04(2006.01)权利要求书1页说明书4页附图4页(54)发明名称一种复杂场景底层视觉信息提取方法(57)摘要本发明属于场景视觉认知领域，特别涉及一种复杂场景底层视觉信息提取方法。为了解决复杂场景的底层特征值提取问题。本发明引入改进的卷积神经网络结构，利用四种卷积滤波器，组成多深度分析集对场景图像进行图像语义分割；引入特征卷积滤波器筛选提取复杂场景的区域语义，再对提取结果使用转置卷积进行场景图像在语义上的区域分割；场景语义的区域分割结果作为激活偏置代入最后的底层视觉信息特征值提取网络，可以确保各种类型的场景细节均不会丢失。经过场景区域语义分割后，本发明能够很好地提取出认知实验所需的场景底层信息特征值，能较好地保留了复杂场景中的细节。CN112036408ACN112036408A权利要求书1/1页1.一种复杂场景底层视觉信息提取方法，其特征在于，包括如下步骤：S1：将待分析场景图像进行RGB归一化处理，经处理后的场景图像复制为多层的数据集，组成多深度分析集；S2：在卷积层利用M-P神经网络对步骤S1中组成的多深度分析集进行卷积处理，获得场景整体细节卷积结果；S3：将步骤S2中获得的场景整体细节卷积结果与所需分割的语义在局部子区域做补零处理，在池化层降低不同特征值的数据维度并做全局均值池化，然后做差值计算分割区域语义；S4：在区域语义输出层将步骤S4中的全局均值池化结果利用转置矩阵返回特征值，作特征图输出，实现对场景图像进行语义上的区域分割；S5：将步骤S4中的场景语义的区域分割结果作为特征值提取的激活偏置，激活值σ为：式中，wi为第i个神经元的连接权重值；xi为第i个神经元的输出值；b为当前神经网络深度切片内的神经激活偏置；n为神经元的数量；定义激活函数f(σ)：式中，θ为激活函数阈值；S6：通过步骤S5中定义的激活函数f(σ)输出最后的场景底层信息激活值，最终值表由二维的归一矩阵结果呈现以便后续分析应用。2.根据权利要求1所述的方法，其特征在于，步骤S2中，利用四种卷积滤波器对步骤S1中组成的多深度分析集进行卷积处理，所述四种卷积滤波器包括色彩饱和度滤波器、色彩对比度滤波器、形状边缘滤波器以及整体细节滤波器。2CN112036408A说明书1/4页一种复杂场景底层视觉信息提取方法技术领域[0001]本发明属于场景视觉认知领域，特别涉及一种复杂场景底层视觉信息提取方法。本发明主要针对复杂的视觉认知实验场景通过算法实现，提取全局场景中的三类显性底层视觉注意力资源。背景技术[0002]人的底层视觉处理机制与神经科学对视细胞的研究指出，人在对场景进行没有既有观念影响的观察时，人类倾向于将视觉注意力资源分配给场景中的色彩饱和度大的区域、色彩对比度高的区域以及具有边缘/方向性特征的区域。这三类注意力资源内容被称为显性(Overt)的底层视觉特征，在人的视觉注意力的神经信号中，这三类特征占据了大多数的信息空间。在人因的视觉认知实验中，这类底层视觉信息的特征值是一项很重要的考量因素。实验中通过对场景中的底层视觉信息的特征值打分，可以确定该场景中各元素对人的自底向上的认知影响。[0003]对于一个场景中的底层视觉信息的提取，在应用中，实际上就是对场景进行图像处理。例如早期利用场景图像的全局特征值与像素特征值进行对比，目前应用较为广泛的是全局直方图算法。这些方法均能利用计算机处理获取简单场景中的特征值，但是当场景的全局复杂度提高时，这类基于全局的特征值提取方法会丢失大量细节。[0004]例如，研究驾驶员在飞机驾驶舱中的视觉认知分配机制时，由于飞机驾驶舱中有大量的仪表开关以及显示屏，全局的方法往往会丢失场景中相较于姿态仪等大型仪表来说较为细小的开关及标注。如果不能有效提取这些细节处的底层信息特征值，研究中飞行员对于这些开关标识的认知程度的内容将会受到较大的影响。发明内容[0005]针对现有的底层视觉信息特征值方法在提取时特征值细节丢失的缺陷，该缺陷会导致复杂场景的视觉认知实验在场景分析时无法获取有效的底层视觉特征值，这部分的缺失会极大影响认知分析的可靠性。本发明引入多层感知卷积滤波器，基于networkinnetwork思想，在特征值提取网络中对复杂场景图像进行转置卷积操作以实现复杂场景的区