一种基于深度学习的双目窄对接焊缝检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989199A(43)申请公布日2022.01.28(21)申请号202111194728.9(22)申请日2021.10.13(71)申请人南京理工大学地址210094江苏省南京市孝陵卫街200号(72)发明人陈天运王兴国高鹏朱斯祺赵壮韩静李陈宾胡晓勇熊亮同(74)专利代理机构南京理工大学专利中心32203代理人赵毅(51)Int.Cl.G06T7/00(2017.01)G06T7/73(2017.01)G06T7/80(2017.01)G01B11/25(2006.01)权利要求书2页说明书6页附图6页(54)发明名称一种基于深度学习的双目窄对接焊缝检测方法(57)摘要本发明涉及一种基于深度学习的双目窄对接焊缝检测方法，包括以下步骤：基于投影仪投射条纹结构光与被动光，采集焊缝图像、获取焊件点云；基于图像二值化处理与双目一致性修正进行二维数据标注；构建基于空间信息挖掘的二维焊缝提取模型，提取二维焊缝；基于双目视觉模型将二维像素映射为三维空间坐标。基于焊件点云与焊缝点局部邻域特征信息进行位姿估计。本发明的双目窄对接焊缝检测系统实现了精准高效的焊缝提取；具体为一种精准且可靠的自动化数据标注方法；具体为一种焊缝提取网络，实现了提取焊缝二维坐标辅助三维焊缝定位。本发明为实现更精准高效的窄对接焊缝检测提供了必要的策略。CN113989199ACN113989199A权利要求书1/2页1.一种基于深度学习的双目窄对接焊缝检测方法，其特征在于，包括以下步骤：步骤一：基于投影仪投射条纹结构光与被动光，采集焊缝图像、获取焊件点云；步骤二：基于图像二值化处理与双目一致性修正进行二维数据标注；步骤三：构建基于空间信息挖掘的二维焊缝提取模型，提取二维焊缝；步骤四：基于双目视觉模型将焊缝二维像素映射为三维空间坐标；步骤五：基于焊件点云与焊缝点局部邻域特征信息进行位姿估计。2.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法，其特征在于：步骤一具体为：由条纹编码传感系统模块中的投影仪将一组被动光和条纹结构光投射到焊件上，触发相机采集对应的被动光图像和条纹结构光图像；投影仪投射的光波段为450nm，投射中心与焊件的入射角为60°，同时双目相机光轴保持60°分别置于焊缝两侧；采用相移形貌测量Phaseshiftingprofilometry和相位展开算法解析被调制的相位得到无歧义的相位，最后通过系统标定数据计算得出被测目标的点云信息。3.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法，其特征在于：步骤二中，采用自适应灰度阈值对图像二值化处理，像素的灰度阈值与其邻域的灰度值的关系如公式(1)所示，其中，i，j分别为图像的行和列；f(i，j)为第i行j列像素的灰度值；K为计算邻域的大小；C为经验常量；m，n分别为图像的行列位置；T为计算的阈值。4.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法，其特征在于：步骤二中，采用基于相位变换的双目一致性修正算法，使用条纹结构光将双目相机的像素对齐，去除冗余的焊缝边缘像素点，实现焊缝位置的精准修正；二值化图像在空间映射后会出现无信息像素点，需要对映射结果闭运算处理进行填充，焊缝修正算法如公式(2)所示，其中，Pcam，Pwarp分别为相机图像和映射后的图像，B为闭运算卷积内核。5.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法，其特征在于：步骤三中，分析左右相机图像的不同尺度特征，结合标注数据进行空间信息约束以及像素位置约束，构建二维焊缝提取模型。6.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法，其特征在于：步骤三中，基于空间信息挖掘的二维焊缝提取网络SWENet，减少了计算量，保证网络拥有足够的全局和细节感知能力；采用Encoder‑Decoder结构，包括下采样模块，反卷积模块以及特征提取模块；特征提取模块结构使用两组3×1、1×3的一维卷积来减少计算量，两个卷积之间的ReLU增加网络的学习能力，此外交错使用空洞卷积来使更多的上下文信息进入下一层；为了实现更精准的预测，让网络学习到图像特征信息以及双目空间结构信息，本文使用两个不同空间角度的label对预测结果进行约束；对模型约束的Loss函数如公式(3)所示，Loss＝1/2Cross(Pr′，Pr″)+1/2Cross(Warp(Pl′)·B，Pr″)+1/2Cross(Pl′，Pl″)+1/2Cross(Warp(Pr′)·B，Pl″)(3)2CN113989199A权利要求书2/2页式中Cross为交叉熵损失函数，评估预测误差大小；Warp为左右像素映射函数；Pr′、Pr″、Pl″分别为预测结果、右相机label以及左相机lab