超分辨文本图像识别方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170608A(43)申请公布日2022.03.11(21)申请号202111455688.9G06N3/08(2006.01)(22)申请日2021.12.01G06T3/40(2006.01)G06T5/50(2006.01)(71)申请人上海东普信息科技有限公司地址201700上海市青浦区外青松公路5045号508室U区44号(72)发明人衡鹤瑞杨周龙李斯(74)专利代理机构北京市京大律师事务所11321代理人胡安(51)Int.Cl.G06V30/40(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书18页附图5页(54)发明名称超分辨文本图像识别方法、装置、设备及存储介质(57)摘要本发明涉及图像识别技术领域，公开了一种超分辨文本图像识别方法、装置、设备及存储介质。本方法包括：获取待检测图像；将待检测图像输入预设超分辨率重建模型的卷积神经网络层进行处理，得到待检测图像的像素数据；将像素数据输入超分辨率重建模型的亚像素卷积层进行像素提取，得到目标高分辨率图像；将目标高分辨率图像输入预设文本检测网络模型进行检测，得到目标高分辨率图像的文本区域；将目标高分辨率图像的文本区域输入预设文本识别模型进行识别，并根据识别结果确定文本区域中的文本内容。本发明通过gan网络提高了模型的深度学习能力，解决了文本检测网络准确率低与检测速度无法平衡的技术问题。CN114170608ACN114170608A权利要求书1/3页1.一种超分辨文本图像识别方法，其特征在于，所述超分辨文本图像识别方法包括：获取待检测图像；将所述待检测图像输入预设超分辨率重建模型的卷积神经网络层进行处理，得到所述待检测图像的像素数据；将所述像素数据输入所述超分辨率重建模型的亚像素卷积层进行像素提取，得到目标高分辨率图像；将所述目标高分辨率图像输入预设文本检测网络模型进行检测，得到所述目标高分辨率图像的文本区域；将所述目标高分辨率图像的文本区域输入预设文本识别模型进行识别，并根据识别结果确定所述文本区域中的文本内容。2.根据权利要求1所述的超分辨文本图像识别方法，其特征在于，在所述将所述待检测图像输入预设超分辨率重建模型的卷积神经网络层进行处理，得到所述待检测图像的像素数据之前，还包括：从源数据库中获取低分辨率图像；接收数据增强请求，根据所述数据增强请求对所述低分辨率图像进行数据增强，得到增强图像；搭建初始超分辨率重建模型，通过所述增强图像对所述超分辨率重建模型进行训练，得到训练完成的超分辨率重建模型。3.根据权利要求2所述的超分辨文本图像识别方法，其特征在于，所述接收数据增强请求，根据所述数据增强请求对所述低分辨率图像进行数据增强，得到增强图像包括：接收数据增强请求，根据所述数据增强请求确定请求场景，并获取所述请求场景中每个标注标签的图像数量；根据所述图像数量从所述标注标签中提取请求标签，并获取所述请求标签所对应的请求图像；对所述请求图像中任两张图像进行图像融合，得到融合图像；根据所述任两张图像的请求标签生成所述融合图像的融合标签；根据所述融合标签拼接所述请求图像及所述融合图像，得到增强图像。4.根据权利要求2所述的超分辨文本图像识别方法，其特征在于，所述搭建初始超分辨率重建模型，通过所述增强图像对所述超分辨率重建模型进行训练，得到训练完成的超分辨率重建模型包括：搭建超分辨率重建模型，将所述增强图像输入至所述超分辨率重建模型，得到备选高分辨率图像；对所述备选高分辨率图像和标准高分辨率图像进行图像格式转换，得到第一图像和第二图像；通过所述第一图像和所述第二图像之间的差异，构造损失函数；基于所述损失函数，对所述初始超分辨率重建模型进行迭代训练，得到训练完成的超分辨率重建模型。5.根据权利要求1所述的超分辨文本图像识别方法，其特征在于，在所述将所述目标高分辨率图像输入预设文本检测网络模型进行检测，得到所述目标高分辨率图像的文本区域2CN114170608A权利要求书2/3页之前，还包括：确定目标训练图像，并将所述目标训练图像输入至第一初始模型，其中，所述第一初始模型包括特征提取网络、特征融合网络和输出网络；将所述目标训练图像输入所述第一初始模型的特征提取网络进行特征提取，得到所述目标训练图像的初始特征图；将所述目标训练图像的初始特征图输入所述第一初始模型的特征融合网络进行特征融合，得到融合特征图；将所述融合特征图输入至所述输出网络，得到所述目标训练图像中文本区域的候选区域以及每个所述候选区域的概率值；基于预设检测损失函数确定所述候选区域以及每个所述候选区域的概