基于特征模块化和上下文融合的矢量网络行人检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110287798A(43)申请公布日2019.09.27(21)申请号201910447819.5G06N3/08(2006.01)(22)申请日2019.05.27(71)申请人魏运地址100037北京市西城区阜成门北大街5号申请人田青仝淑贞(72)发明人魏运田青仝淑贞(74)专利代理机构北京科亿知识产权代理事务所(普通合伙)11350代理人汤东凤(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/34(2006.01)G06N3/04(2006.01)权利要求书3页说明书6页附图5页(54)发明名称基于特征模块化和上下文融合的矢量网络行人检测方法(57)摘要一种基于特征模块化和上下文融合的矢量网络行人检测方法，本方法通过构造精细的行人模板，利用模板匹配法实现行人部件分割，并根据构造的加权平均损失函数对分割后的部件筛选，保留的部件经过重组得到可能存在行人的区域。为了利用场景辅助信息优化检测结果，对行人和场景之间的布局关系进行表征，将局部行人信息与全局场景信息以势能函数的形式整合，并进行优化求解，进一步对可能存在行人的区域进行判别，再对保留的结果通过卷积特征提取、卷积特征分组组合将传统二维特征组合为新型三维特征，并通过构造矢量激活函数使得网络权值、网络输出也以矢量表示，搭建起用于精确行人检测的矢量网络，最终通过输出的矢量信息获得行人检测结果。CN110287798ACN110287798A权利要求书1/3页1.一种基于特征模块化和上下文融合的矢量网络行人检测方法，其特征是步骤包括：1)进行行人图像采集，根据预先设定好的精细化行人模板；采用模板匹配法将感兴趣区域分割为多个行人部件，判断各部件是否为行人关键模块，行人关键模块是指能明显表明行人目标的人体部分；如果判别为否，则直接滤除该部件所在区域；如果判别为是，则保留该部件像素信息及位置信息，并进入步骤2)；2)利用位置信息计算行人关键模块所在区域中心点之间的欧式距离、利用行人关键模块局部像素信息计算特征相似度；构造加权平均损失函数，并优化该函数，从而将行人关键模块重组为可能存在行人的区域即行人疑似区域；3)通过对行人随机移动特性的分析，对场景内行人和其他物体的位置关系进行布局表征；根据条件随机场理论进行建模，将疑似区域被分配为行人区域标签的能量作为一元能量项，将反映疑似区域标签与场景内物体标签关系的能量作为二元能量项，对行人与场景内物体的布局关系进行表征，将局部行人和全局场景信息融合。4)由于构建的条件随机场模型在求解时存在大量的相乘相加运算，通过比较每一步运算与卷积计算的相似性，运用平均场近似理论将条件随机场的优化求解问题转化为卷积神经网络的优化求解问题，采用训练的方式快速优化该模型，并根据优化结果对行人疑似区域进一步判断是否为行人；如果判别为否，直接滤除该疑似区域；如果判别为是，保留该区域信息，然后进入步骤5)；5)在传统卷积神经网络的基础上，删减掉网络中的池化层，对保留的区域信息仅提取图像卷积特征，对同一层的卷积特征进行分组，组间特征保持相互独立，组内特征作为一个整体来表征感兴趣区域在这组卷积核下的整体特性，将组内二维特征在第三个维度上堆叠实现维度拓展，合成为三维特征，以实现行人特征的矢量化表征；6)构造矢量激活函数引入非线性性质并对有效行人特征进行响应，使得网络层间权值也以矢量形式表达，保留矢量特征中所含的方向性信息；7)按照步骤5)、6)搭建起矢量网络，通过动态路由算法对矢量网络进行训练，根据训练好的网络最终输出的矢量结果，继续对行人检测结果进行判断；如果判别为否，则直接滤除该结果；如果判别为是，则输出最终行人检测结果。2.根据权利要求1所述的方法，其特征是所述步骤1)中，行人模板的设置根据被遮挡面积占行人所在矩形区域的比例rocc，分为三类行人模板：①rocc≤1/2；②1/2＜rocc≤2/3，③2/3＜rocc≤5/6。3.根据权利要求1所述的方法，其特征是所述步骤2)中，加权平均损失函数F(p)定义如下：其中n为所有区域的数量，pi_x，pj_x，pi_y，pj_y分别表示区域i，j的中心坐标，Ipi和Ipj表示2CN110287798A权利要求书2/3页区域i，j的特征信息，ρ1和ρ2调整对位置信息和像素信息对重组的影响程度。4.根据权利要求1所述的方法，其特征是所述步骤3)中，根据行人与场景内物体可能存在的位置关系，按左、右、上、下的位置关系进行布局表征，然后在此基础上采用条件随机场建模。5.根据权利要求1所述的方法，其特征是所述步骤3)中，根据行人与场景内物体可能存在的位置关系，按左、右、上、下、里、外、远、近的位置关系进行布局