一种双目相机盲区内的障碍物检测方法、装置及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115131431A(43)申请公布日2022.09.30(21)申请号202210622210.9(22)申请日2022.06.01(71)申请人杭州海康机器人技术有限公司地址310051浙江省杭州市滨江区丹枫路399号2号楼B楼304室(72)发明人崔蓝月秦勇(74)专利代理机构北京博思佳知识产权代理有限公司11415专利代理师杨春香(51)Int.Cl.G06T7/73(2017.01)G06T7/50(2017.01)G06T7/246(2017.01)G06V10/762(2022.01)G06V20/10(2022.01)权利要求书3页说明书8页附图2页(54)发明名称一种双目相机盲区内的障碍物检测方法、装置及设备(57)摘要本申请实施例公开了一种双目相机盲区内的障碍物检测方法、装置及设备。本申请实施例会自动检测双目相机盲区是否进入了目标障碍物，并在检测出双目相机盲区进入了目标障碍物的情况下，会自适应在当前深度图中补全目标障碍物的障碍物信息，以基于当前深度图中的障碍物信息进行障碍物检测，这实现了即使双目相机盲区内有目标障碍物，也能检测出该目标障碍物，避免发生碰撞的风险。CN115131431ACN115131431A权利要求书1/3页1.一种双目相机盲区内的障碍物检测方法，其特征在于，该方法包括：获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深度图；检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物；如果是，依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区；在检测出所述目标障碍物当前处于所述双目相机盲区的情况下，依据所述目标障碍物在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物在当前帧图像中的轨迹信息，在所述当前深度图中补全所述目标障碍物的障碍物信息，以基于所述当前深度图中的所述障碍物信息进行障碍物检测；其中，所述障碍物信息至少包括：所述目标障碍物对应的深度信息。2.根据权利要求1所述的方法，其特征在于，所述检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物包括：判断所述当前帧图像中是否存在与所述上一帧图像中历史障碍物区域相匹配的目标障碍物区域，其中，当所述历史障碍物区域的指定特征属性对应的特征数据与所述目标障碍物区域的所述特征属性对应的特征数据相匹配，则所述历史障碍物区域与所述目标障碍物区域相匹配；如果是，则确定当前帧图像与所述相机采集的上一帧图像中存在同一目标障碍物，否则，确定当前帧图像与所述上一帧图像中不存在同一目标障碍物。3.根据权利要求1所述的方法，其特征在于，所述检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物包括：将所述当前帧图像输入到已训练的实例分割模型中以通过所述实例分割模型从所述当前帧图像中提取出障碍物特征信息；检查基于所述上一帧图像中的历史障碍物区域预测出的障碍物在当前帧图像中的轨迹信息与所述障碍物特征信息是否匹配，如果匹配，则确定当前帧图像与所述相机采集的上一帧图像中存在同一目标障碍物，否则，确定当前帧图像与所述上一帧图像中不存在同一目标障碍物。4.根据权利要求1所述的方法，其特征在于，所述依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区包括：检测所述当前深度图中是否存在所述目标障碍物的深度信息，若所述当前深度图中不存在所述目标障碍物的深度信息，则确定所述目标障碍物当前处于双目相机盲区，否则，确定所述目标障碍物当前不处于所述双目相机盲区。5.根据权利要求1所述的方法，其特征在于，所述依据目标障碍物在当前帧图像中的当前障碍物区域以及已预测出的目标障碍物在当前帧图像中的轨迹信息，在当前深度图中补全所述目标障碍物的障碍物信息，包括：将所述当前帧图像中的当前障碍物区域映射到所述当前深度图的相关区域；依据已预测出的目标障碍物在当前帧图像中的轨迹信息，为所述相关区域中各像素点设置对应的深度信息。6.根据权利要求5所述的方法，其特征在于，所述轨迹信息至少包括：所述目标障碍物在采集所述当前帧图像时相对所述双目相机的位姿和速度；2CN115131431A权利要求书2/3页所述依据已预测出的目标障碍物在当前帧图像中的轨迹信息，为所述相关区域中各像素点设置对应的深度信息包括：根据所述位姿和所述速度、以及已得到的所述目标障碍物在上一帧图像对应的上一帧深度图中的深度信息，为所述相关区域中各像素点设置对应的深度信息。7.根据权利要求1所述的方法，其特征在于，在检测出目标障碍物当前不处于所述双目相机盲区时，该方法进一步包括：将所述当前深度图转换为3D点云；基于所述3D点云，对障碍物位置进行聚类，得到对应所述当前深度图的障碍物位置信息