一种基于标签及图像合成技术的桥梁病害识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115063680A(43)申请公布日2022.09.16(21)申请号202210698546.3G06T7/194(2017.01)(22)申请日2022.06.20G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人吴刚崔弥达冯东明(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师熊玉玮(51)Int.Cl.G06V20/10(2022.01)G06V10/28(2022.01)G06V10/82(2022.01)G06V10/26(2022.01)G06T7/00(2017.01)权利要求书2页说明书4页附图3页(54)发明名称一种基于标签及图像合成技术的桥梁病害识别方法(57)摘要本发明公开一种基于标签及图像合成技术的桥梁病害识别方法，属于计算、推算或计数的技术领域。该方法：获取少量桥梁病害的图像，并使用图像标注工具标注病害的语义信息，获取病害图像标签；对病害图像和病害图像标签进行掩膜运算获取病害的前景图像；获取桥梁无病害图像；利用掩模运算后的少量病害前景图像和无病害图像大量合成桥梁病害图像，并通过记录图像合成位置的方法生成图像的标签数据；运用合成的图像数据和标签信息训练基于深度学习的病害分割网络。本发明利用少量的标注数据和一些无病害数据大量地合成具有像素级标注的桥梁病害图像，降低人工标注数据的成本，提高病害识别的准确率和效率。CN115063680ACN115063680A权利要求书1/2页1.一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，获取桥梁病害图像，对所述桥梁病害图像进行语义信息标注，获取桥梁病害图像的标签；对所述桥梁病害图像及其标签进行掩模运算以获取病害前景图像，获取RGBA格式的病害前景图像；获取桥梁无病害图像，并将所获取的桥梁无病害图像转化为RGBA格式；将所述RGBA格式的病害前景图像贴至RGBA通道均为零的背景图像以获取合成前景图像，将所述合成前景图像与RGBA格式的桥梁无病害图像相加以获取合成图像，同时对所述合成前景图像进行赋值化操作得到所述合成图像的标签图像，所述合成图像和所述标签图像构成数据训练集；采用所述数据训练集训练识别桥梁病害的神经网络。2.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，所述将RGBA格式的病害前景图像贴至RGBA通道均为零的背景图像以获取合成前景图像的具体方法为：对所述RGBA格式的病害前景图像进行随机裁剪，获取前景图像；对所述RGBA格式的桥梁无病害图像进行随机裁剪，获取背景图像，生成与所述背景图像大小相同但所有像素为零的图像，记所述与背景图像大小相同但所有像素为零的图像为RGBA通道均为零的背景图像；通过随机放样的方式，将所述前景图像赋值至所述RGBA通道均为零的背景图像，获取合成前景图像。3.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，对所述合成前景图像进行赋值化操作得到所述合成图像的标签图像的具体方法为：对所述合成前景图像进行逐像素运算，保持所述合成前景图像中的0像素不变，按照病害的种类将所述合成前景图像中的非零像素置为对应的编号，获取所述合成图像的标签图像。4.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，在保证拍摄距离50cm的情况下，采用高清相机采集桥梁病害图像，每个像素对应的真实物理尺寸大于或等于0.1mm。5.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，获取并标注的某类桥梁病害图像的数目小于或等于最终合成图像数据集数量的10%。6.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，所述对所述桥梁病害图像及其标签进行掩模运算以获取病害前景图像的具体方法为：保持所述桥梁病害图像的大小和分辨率不变，保持桥梁病害图像中病害图像区域的像素值不变，将桥梁病害图像中背景区域的像素值置0，获取病害前景图像。7.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，所述获取RGBA格式的病害前景图像的具体方法为：将所述病害前景图像背景部分的透明度调整为0，将所述病害前景图像中病害图像区域的透明度调整为1。8.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，所述桥梁无病害图像具有透明度且分辨率高于或等于所述桥梁病害图像，且获取的桥梁无病害图像的数目大于或等于200。2CN115063680A权利要求书2/2页9.根据权利要求1所述一种基于标签及图像合成技术的桥梁病害识别方法，其特征在于，