点云目标的检测方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082885A(43)申请公布日2022.09.20(21)申请号202210743615.8G06V10/80(2022.01)(22)申请日2022.06.27G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人深圳见得空间科技有限公司G06N3/08(2006.01)地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)(72)发明人罗磊宋南(74)专利代理机构深圳市弘为力创知识产权代理事务所(普通合伙)44751专利代理师康晓春(51)Int.Cl.G06V20/56(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)G06V10/774(2022.01)权利要求书3页说明书9页附图2页(54)发明名称点云目标的检测方法、装置、设备及存储介质(57)摘要本申请涉及自动驾驶技术领域，本申请提供一种点云目标的检测方法、装置、设备及存储介质，所述方法获取局部点云特征和全局体素特征；基于预设双编码器与解码器算法，融合局部点云特征和全局体素特征，生成三维目标框，并完成场景中点云目标的检测。通过上述方式，本发明通过点云网络和三位稀疏卷积网络，分别获取局部点云特征和全局体素特征后，通过预设双编码器与融合解码器算法，生成融合多模态特征的三维目标框，并以此完成待检测场景中点云目标的检测。由此，采用多模态融合确定三维目标框，提高了点云目标的检测方法的精度与效率，解决了目前点云目标的检测方法的精度低且效率低的技术问题。CN115082885ACN115082885A权利要求书1/3页1.一种点云目标的检测方法，其特征在于，所述检测方法包括以下步骤：通过三维稀疏卷积神经网络处理所述待确定场景的三维体素网格，得到所述待确定场景的全局体素特征，并生成目标提议框；通过点云网络处理待检测场景的原始点云，得到所述待检测场景的局部点云特征；基于预设双编码器与融合解码器算法，融合所述局部点云特征和所述全局体素特征，对所述目标提议框进行调整，生成三维目标框，并基于所述三维目标框完成所述待检测场景中点云目标的检测。2.如权利要求1所述的点云目标的检测方法，其特征在于，所述通过三维稀疏卷积神经网络处理所述待确定场景的三维体素网格，得到所述待确定场景的全局体素特征，并生成目标提议框，包括：将所述待检测点云空间划分成规则的体素表达形式，其中仅保留含有点的体素网格，而其余体素则被认为是空体素；对于每个所述空体素，采用其所包含点的平均特征作为其初始输入特征，随后采用所述三维稀疏卷积神经网络感知体素网格并给出所述待确定图像的目标提议框。3.如权利要求2所述的点云目标的检测方法，其特征在于，所述对于每个所述空体素，采用其所包含点的平均特征作为其初始输入特征，随后采用所述三维稀疏卷积神经网络感知体素网格并给出所述待确定图像的粗略提议框，包括：将所述三维输出特征有高度维压缩至二维空间得到二维图像表征为将所述二维图像表征输入用于鸟瞰图目标检测的二维RPN网络，逐层的输出具体表示为各层均采用3×3卷积以减小学习参数，得到进一步细化的特征图用于后续的预测，其中，所述二维RPN网络网络由四层二维卷积神经网络搭建，采用U‑Net网络结构；通过基于锚框的分类和回归得到RPN网络检测出的物体提议，即对每一个像素点都预先设置一个对应的锚框，对该锚框做微调以实现精准的定位，因此对于大小为的特征图，一共会有个预定义框。4.如权利要求2所述的点云目标的检测方法，其特征在于，所述将所述待检测点云空间划分成规则的体素表达形式，其中仅保留含有点的体素网格，而其余体素则被认为是空体素，包括：采用Spconv库堆叠4层所述三维稀疏卷积模块，其中每个稀疏卷积模块包含两层子流型卷积和一层用于逐步下采样的稀疏卷积模块；假设输入的体素张量表示为L×W×H×C，那么该三维稀疏卷积的网络输出可以表示为5.如权利要求1所述的点云目标的检测方法，其特征在于，所述通过点云网络处理待检测场景的原始点云，得到所述待检测场景的局部点云特征，包括：2CN115082885A权利要求书2/3页利用最远点采样策略从所述原始点云中均匀采样固定点云数为每一层局部点云特征提取模块的输入依次为上一层的输出，而当前层的输出为后续最远点采样的点集；通过所述局部点云特征提取模块提取待检测场景的各层点云的局部点云特征，且逐层扩大以得到全局点云语义信息，设点云中存在点pi，设Si为在以点pi为中心，半径为r的球邻域内部的点所构成的集合。6.如权利要求5所述的点云目标的检测方法，其特征在于，所述通过所述局部点云特征提取模块提取待检测场景的各层点云的局部点云特征，且逐层扩大以得