用于监测车辆盲区的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111008553A(43)申请公布日2020.04.14(21)申请号201910949146.3G06N3/04(2006.01)(22)申请日2019.10.08(30)优先权数据16/152,6992018.10.05US(71)申请人斯特拉德视觉公司地址韩国庆尚北道(72)发明人金桂贤金镕重金寅洙金鹤京南云铉夫硕焄成明哲吕东勋柳宇宙张泰雄郑景中诸泓模赵浩辰(74)专利代理机构北京市中伦律师事务所11410代理人钟锦舜赵瑞(51)Int.Cl.G06K9/00(2006.01)权利要求书6页说明书18页附图6页(54)发明名称用于监测车辆盲区的方法和装置(57)摘要本发明公开了监测基准车辆的一个以上盲区的CNN的学习方法，包括以下步骤：学习装置使检测器输出包含在训练图像中的关于观察对象车辆的类别信息及位置信息；使线索信息提取层使用所输出的信息来输出关于所述观察对象车辆的线索信息，并且使盲区确认用FC层使用所述线索信息或处理线索信息而得到的值来执行神经网络运算，从而判断所述观察对象车辆是否位于所述盲区中；以及反向传播通过将所述判断的结果和与其对应的第1GT相比较而获得的盲区损失值以学习所述盲区确认用FC层的参数，并且反向传播通过将所述类别信息及所述位置信息和与其对应的第2GT相比较而获得的车辆检测损失值以学习所述检测器的参数。CN111008553ACN111008553A权利要求书1/6页1.一种用于监测基准车辆的一个以上盲区的卷积神经网络CNN的学习方法，包括：步骤a：在输入与由所述基准车辆拍摄到的至少一个视频图像对应的训练图像时，学习装置使所述基准车辆的检测器输出包含在所述训练图像中的关于观察对象车辆的类别信息及位置信息；步骤b：所述学习装置使线索信息提取层使用关于所述观察对象车辆的所述类别信息及所述位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息，并且使盲区确认用全连接FC层使用关于所述观察对象车辆的所述线索信息或处理所述线索信息而得到的值来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及步骤c：所述学习装置使第1损失层将所述判断结果和与所述判断结果对应的第1真实值GT相比较来生成一个以上盲区损失值，从而通过反向传播所述盲区损失值而学习所述盲区确认用FC层的一个以上参数，并且使第2损失层将关于所述观察对象车辆的所述类别信息及所述位置信息和与所述类别信息及所述位置信息对应的第2GT相比较来生成一个以上车辆检测损失值，从而通过反向传播所述车辆检测损失值而学习所述检测器的一个以上参数。2.根据权利要求1所述的学习方法，其中，所述检测器为基于R-CNN(Region-basedConvolutionalNeuralNetwork，基于区域的卷积神经网络)的车辆检测器，包括：一个以上卷积层，其从所述训练图像生成特征图；区域建议网络(RegionProposalNetwork，RPN)，其从所述特征图生成关于所述观察对象车辆的感兴趣区域ROI；池化层，其通过对所述特征图内的与所述ROI对应的区域进行池化而生成特征向量；至少一个车辆检测用FC层，其对所述特征向量执行至少一次全连接FC运算以生成一个以上FC输出值；分类层，其参考所述FC输出值来输出关于所述观察对象车辆的所述类别信息；以及回归层，其参考所述FC输出值来输出关于所述观察对象车辆的所述位置信息。3.根据权利要求2所述的学习方法，其中，所述车辆检测损失值包括关于所述观察对象车辆的一个以上类别损失值和一个以上位置损失值，所述学习装置通过反向传播所述类别损失值和所述位置损失值而学习所述车辆检测用FC层的一个以上参数及所述卷积层的一个以上参数。4.根据权利要求2所述的学习方法，其中，所述学习装置使所述CNN接收通过连接由所述线索信息提取层生成的关于所述观察对象车辆的所述线索信息和由所述检测器的所述池化层生成的所述特征向量而得到的值以作为所述盲区确认用FC层的输入。5.根据权利要求1所述的学习方法，其中，所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。2CN111008553A权利要求书2/6页6.根据权利要求1所述的学习方法，其中，关于所述观察对象车辆的所述线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述类别信息；(ii)关于所述观察对象车辆的所述位置信息；(iii)与ROI大小对应的所述观察对象车辆的大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车