基于车路协同的点云目标检测和盲区目标检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111222441A(43)申请公布日2020.06.02(21)申请号201911411671.6(22)申请日2019.12.31(71)申请人深圳市人工智能与机器人研究院地址518000广东省深圳市龙岗区坂田街道雅宝路1号星河WORLDG2-14、15层申请人香港中文大学（深圳）(72)发明人贺悦茂赵舒静周婷陈勇全钱辉环(74)专利代理机构深圳市恒申知识产权事务所(普通合伙)44312代理人袁文英(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于车路协同的点云目标检测和盲区目标检测方法及系统(57)摘要本发明提供了一种基于车路协同的点云目标检测和盲区目标检测方法及系统，包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用Pointnet++算法进行点云目标检测。通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，达到了生成更优点云检索建议区域和盲区内目标检测的效果，保证了路灯故障下单车智能的独立性不受任何影响。因为路灯故障时，所有目标都被校核器判断为仅被车检测到的目标，该类目标将被决策为继续沿用搭载在车辆上的原FrustumPointnets算法，感知结果与路灯无关。这使得搭载了本发明的智能汽车，在路侧智能辅助下，具有更快速、更全面和更安全的目标感知性能。CN111222441ACN111222441A权利要求书1/2页1.一种基于车路协同的点云目标检测和盲区目标检测方法，其特征在于，包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用Pointnet++算法进行点云目标检测。2.如权利要求1所述的方法，其特征在于，所述图像目标检测和位置测算的包括：使用Faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像进行车辆和行人的识别；所述车辆端根据所述结构光深度相机的图像信息和深度信息获取各个目标相对车辆的距离和角度；所述车辆端获取所述路灯根据双目相机的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。3.如权利要求1所述的方法，其特征在于，所述基于校核器进行目标分类包括：所述车辆端配置一校核器；所述车辆端实时获取并汇总自身和路灯得到处理后的目标位置信息，调用所述校核器对所有目标位置进行交集、并集处理以及目标分类处理；经过校核器处理，所述车辆端一共感知到三类目标。4.如权利要求3所述的方法，其特征在于，所述车辆端感知到的三类目标为车辆与所述路灯共同检测到的目标、车辆单独检测到的目标、所述路灯单独检测到的目标。5.如权利要求1所述的方法，其特征在于，所述依据校核器的结果，决定目标的检测方案包括：所述车辆端根据校核器的结果，决定每一个目标的检测方案。6.如权利要求5所述的方法，其特征在于，对于不同目标采用不同的检测方案包括：所述车辆与路灯共同检测到的目标的检测方案包括：所述车辆端拥有自身所述深度相机与所述路灯侧设备检测的目标的相对位置信息；所述车辆端丢弃自身所述深度相机检测出的目标的位置信息，直接使用所述路灯提供的位置信息生成三维方形检索建议区域；所述车辆单独检测到目标的检测方案包括：所述车辆端拥有自身所述结构光深度相机检测到的目标的位置信息；所述车辆端根据所述目标的位置信息，使用FrustumPointnets算法中的锥形建议区域生成方法，生成锥形检索建议区域；所述路灯单独检测到目标的检测方案包括：所述车辆端直接使用所述路灯侧设备检测出的目标的位置信息。7.如权利要求1所述的方法，其特征在于，所述使用Pointnet++算法进行点云目标的检测包括：所述车辆端汇总所有目标的检测方案，并生成相应的检索建议区域，得出最终的全局检索建议区域；所述车辆端提取出所述全局检索建议区域内的点云，丢弃非区域内的点云数据；使用点云检测程序，使用Pointnet++算法进行点云目标识别；2CN111222441A权利要求书2/2页得到目标的三维边界框，完成全局目标检测。8.一种基于车路协同的点云目标检测和盲区目标检测系统，其特征在于，所述系统包括：检测模块：用于图像目标检测和位置测算；分类模块：用于基于校核器进行目标分类；选择模块：用于依据校核器目标分类的结果，决定目标的检测方案；计算模块：用于使用Pointnet++算法进行点云目标的检测。9.一种设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于车路协同