一种基于掩膜的数据增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113962917A(43)申请公布日2022.01.21(21)申请号202111251808.3G06T3/60(2006.01)(22)申请日2021.10.25(71)申请人深圳市玻尔智造科技有限公司地址518110广东省深圳市龙华区观澜街道大富社区大富工业区20号硅谷动力智能终端产业园A5栋101(72)发明人梁惠莹张成英杨培文(74)专利代理机构杭州九洲专利事务所有限公司33101代理人张羽振(51)Int.Cl.G06T5/50(2006.01)G06T7/181(2017.01)G06T7/11(2017.01)G06T3/40(2006.01)权利要求书2页说明书4页附图5页(54)发明名称一种基于掩膜的数据增强方法(57)摘要本发明涉及一种基于掩膜的数据增强方法，包括步骤：通过大数据等技术不断收集有瑕疵的原始图片，由人工在原始图片上标注出有瑕疵的区域轮廓，形成掩膜区，根据掩膜区中各个点的坐标计算出掩膜边界框，形成瑕疵框；建立图像掩膜库。本发明的有益效果是：本发明提供的数据增强方法，在图像掩膜库中随机选取图像掩膜进行计算，保证生成的瑕疵具有随机性，尽量模拟实际应用中发现的瑕疵；采用图像变换操作，经由替换区域，在目标图片上产生瑕疵；本发明可以将现有有限数据的目标区域提取出来，进行变换并添加到指定图像的目标区域，实现由小样本数据生成大样本数据的一种数据增强方法。CN113962917ACN113962917A权利要求书1/2页1.一种基于掩膜的数据增强方法，其特征在于，包括以下步骤：步骤1、不断收集有瑕疵的原始图片，在原始图片上标注出有瑕疵的区域轮廓，形成掩膜区，根据掩膜区中各个点的坐标计算出掩膜边界框，形成瑕疵框；步骤2、确定瑕疵框和掩膜区后，在文件和数据库中存储每张有瑕疵的原始图片对应的掩膜区和瑕疵框的坐标、掩膜背景均值、掩膜背景方差值、掩膜背景均值和掩膜背景方差值之间的差值，建立图像掩膜库；步骤3、在图像掩膜库中随机选取一个图像掩膜，获取图像掩膜对应的掩膜背景均值Backmean和掩膜背景方差值Backvar，以及掩膜背景均值Maskmean和掩膜背景方差值Maskvar；步骤4、将步骤3中选取的图像掩膜中的一部分随机进行图像变换操作；然后在原来的瑕疵框外取设定数值个像素点的背景，作为新的瑕疵框；将原来的瑕疵框作为新的掩膜区，新的瑕疵框和新的掩膜区分别为经过图像变换后的瑕疵框和掩膜区；步骤5、在准备进行数据增强的图像中指定任一坐标作为左上角的坐标，选取一个与变换后瑕疵框大小一致的区域作为替换区域，计算该替换区域的背景均值和背景方差值；步骤6、若替换区域的掩膜背景均值差值小于等于掩膜背景均值差值Deltamean，且替换区域的掩膜背景方差值小于等于背景方差差值Deltavar，则将掩膜区图像的RGB值赋值给替换区域，目标图片产生高保真的瑕疵，将Deltamean和Deltavar作为基准值，执行步骤7；若不满足替换区域的掩膜背景均值差值小于等于掩膜背景均值差值Deltamean，且不满足替换区域的掩膜背景方差值小于等于背景方差差值Deltavar，则目标图片不产生瑕疵，返回执行步骤5若干次，直至满足执行步骤7的条件；若最后仍不满足执行步骤7的条件，则执行至步骤6终止；步骤7、若循环次数小于等于设定值，设定值为在限定范围内所取随机数或固定数值，则返回执行步骤3至步骤6，直至循环次数大于设定值，为准备进行数据增强的图像随机增加与原始样本一致的瑕疵。2.根据权利要求1所述基于掩膜的数据增强方法，其特征在于：步骤1中瑕疵框左上角坐标取瑕疵中所有点的最小横坐标和最小纵坐标，瑕疵框右下角坐标取瑕疵中所有点的最大横坐标和最大纵坐标。3.根据权利要求1所述基于掩膜的数据增强方法，其特征在于，步骤2具体包括如下步骤：步骤2.1、计算每张有瑕疵的原始图片对应的背景均值和背景方差值，以及背景均值和方差值之间的差值：获取瑕疵框图像RGB值和掩膜区图像RGB值，获取掩膜区和瑕疵框区域内的像素点，分别按照下式(1)和下式(2)来计算掩膜背景均值Maskmean和掩膜背景方差值Maskvar：步骤2.2、在原来的瑕疵框外取设定数值个像素点的RGB值、宽和高，作为新的瑕疵框参数；将原来的瑕疵框作为新的掩膜区，根据式(1)和式(2)分别计算新的瑕疵框周围掩膜背2CN113962917A权利要求书2/2页景均值Backmean和新的掩膜背景方差值Backvar；步骤2.3、按照下式(3)和下式(4)分别计算背景均值差值Deltamean和背景方差差值Deltavar：Deltamean＝|Backmean‑Maskmean|(3)Deltavar＝|Backvar‑M