手写笔迹擦除方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114332150A(43)申请公布日2022.04.12(21)申请号202111627955.6(22)申请日2021.12.28(71)申请人武汉天喻信息产业股份有限公司地址430000湖北省武汉市东湖开发区华中科技大学科技园天喻大厦(72)发明人汤佳敏欧阳梅周彭滔张新访(74)专利代理机构武汉智权专利代理事务所(特殊普通合伙)42225代理人余浩(51)Int.Cl.G06T7/194(2017.01)G06T5/50(2006.01)权利要求书2页说明书12页附图3页(54)发明名称手写笔迹擦除方法、装置、设备及可读存储介质(57)摘要本申请涉及一种手写笔迹擦除方法、装置、设备及可读存储介质，涉及图像识别处理技术领域，包括将待擦除图片输入目标检测模型得到多个笔迹区域及各个笔迹区域的顶点坐标；对顶点坐标形成的检测框集合中的每个检测框对应的图片进行切割，并基于语义分割模型对切割图片中的背景、印刷体和手写体进行语义分割得到初始三维矩阵；将初始三维矩阵中的背景和印刷体对应的像素值更新为第一预设值、手写体对应的像素值更新为第二预设值，得到二元笔迹掩膜；将二元笔迹掩膜及其对应的切割图片输入多元图像恢复模型得到去笔迹后的恢复图像；基于去笔迹后的恢复图像对待擦除图片进行覆盖得到无笔迹目标图片，有效了避免误分割和漏分割，提高文档还原准确性。CN114332150ACN114332150A权利要求书1/2页1.一种手写笔迹擦除方法，其特征在于，包括以下步骤：将待擦除图片输入目标检测模型，得到包含手写笔迹的多个笔迹区域以及各个笔迹区域的顶点坐标；基于多个笔迹区域的顶点坐标形成检测框集合，并对检测框集合中的每个检测框对应的图片进行切割，得到多张切割图片；基于语义分割模型分别对每张切割图片中的背景、印刷体和手写体进行语义分割，得到每张切割图片对应的初始三维矩阵；分别将每张切割图片对应的初始三维矩阵中的背景和印刷体对应的像素值更新为第一预设值、手写体对应的像素值更新为第二预设值，得到每张切割图片对应的二元笔迹掩膜；将每个二元笔迹掩膜及其对应的切割图片输入多元图像恢复模型，得到去笔迹后的恢复图像；基于去笔迹后的恢复图像对待擦除图片上的与所述去笔迹后的恢复图像对应的笔迹区域进行覆盖处理，得到无笔迹目标图片。2.如权利要求1所述的手写笔迹擦除方法，其特征在于，所述基于多个笔迹区域的顶点坐标形成检测框集合，包括：根据每个笔迹区域的顶点坐标形成对应的第一检测框；检测相邻两个第一检测框之间的交并比以及距离是否均大于对应的合并阈值；若是，则将相邻两个第一检测框进行合并得到第二检测框，并判断第二检测框的宽度和高度是否大于对应的切分阈值，当第二检测框的宽度大于宽度切分阈值和/或第二检测框的高度大于高度切分阈值时，对所述第二检测框进行切分，得到多个第二子检测框，当第二检测框的宽度小于或等于宽度切分阈值且第二检测框的高度小于或等于高度切分阈值时，则不对所述第二检测框进行切分处理；若否，则不对所述相邻两个第一检测框进行合并处理，并判断第一检测框的宽度和高度是否大于对应的切分阈值，当第一检测框的宽度大于宽度切分阈值和/或第一检测框的高度大于高度切分阈值时，对所述第一检测框进行切分，得到多个第一子检测框，当第一检测框的宽度小于或等于宽度切分阈值且第一检测框的高度小于或等于高度切分阈值时，则不对所述第一检测框进行切分处理；将未合并且未切分的第一检测框、第一子检测框、未切分的第二检测框和第二子检测框作为检测框集合。3.如权利要求2所述的手写笔迹擦除方法，其特征在于，在所述检测相邻两个第一检测框之间的交并比以及距离是否均大于对应的合并阈值的步骤之前，还包括：对所有第一检测框进行非极大值抑制处理，以删除冗余的第一检测框，所述非极大值抑制处理中的置信度阈值设为0.05，所述非极大值抑制处理中的交并比阈值设为0.95。4.如权利要求1所述的手写笔迹擦除方法，其特征在于，在所述基于语义分割模型分别对每张切割图片中的背景、印刷体和手写体进行语义分割的步骤之前，还包括：将多张切割图片合并成一个批处理数据；将所述批处理数据输入所述语义分割模型。5.如权利要求1所述的手写笔迹擦除方法，其特征在于：所述多元图像恢复模型包括表2CN114332150A权利要求书2/2页达网络和生成网络，所述生成网络中的第二解码模块的输出层的输入为第二解码模块的残差上采样单元的输出与表达网络中的第一编码模块的输出形成的拼接图；所述生成网络中的第三解码模块的输出层的输入为第三解码模块的残差上采样单元的输出与表达网络中的初始残差模块的输出形成的拼接图。6.如权利要求5所述的手写笔迹擦除方法，其特征在于，所述生成网络中的长短期注意力模块用于：计