文字识别方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937859A(43)申请公布日2023.04.07(21)申请号202211433426.7G06N3/0442(2022.01)(22)申请日2022.11.16G06N3/0464(2022.01)G06N3/0455(2023.01)(71)申请人西交利物浦大学G06N3/04(2023.01)地址215123江苏省苏州市工业园区独墅湖高等教育区仁爱路111号(72)发明人王秋锋张若钊(74)专利代理机构苏州谨和知识产权代理事务所(特殊普通合伙)32295专利代理师叶栋(51)Int.Cl.G06V30/148(2022.01)G06V30/262(2023.01)G06V10/82(2023.01)G06N3/08(2023.01)G06N3/084(2023.01)权利要求书2页说明书8页附图5页(54)发明名称文字识别方法、装置、设备及存储介质(57)摘要本申请属于文字识别领域，具体涉及文字识别方法、装置设备及存储介质。其方法包括：获取图像数据，图像数据包括待识别的文字信息；获取预先训练的文字识别模型，文字识别模型包括主分支和子分支，子分支用于获取图像数据的语义信息；主分支用于使用图像数据的语义信息识别图像数据的文字信息；将图像数据输入至文字识别模型，得到识别后的文字信息；可以解决传统的文字识别方法导致文字识别准确率较低问题，由于文字识别模型在对文字识别过程中将文字的语义信息可以充分学习到，因此可以提高模型的识别准确性，从而提高文字识别的准确率。CN115937859ACN115937859A权利要求书1/2页1.一种文字识别方法，其特征在于，所述方法包括：获取图像数据，所述图像数据包括待识别的文字信息；获取预先训练的文字识别模型，所述文字识别模型包括主分支和子分支，所述子分支用于获取所述图像数据的语义信息；所述主分支用于使用所述图像数据的语义信息识别所述图像数据的文字信息；将所述图像数据输入至所述文字识别模型，得到识别后的文字信息。2.根据权利要求1所述的方法，其特征在于，所述获取所述图像数据的语义信息，包括：将所述图像数据输入至所述主分支编码器中，得到所述图像数据对应的高维特征向量；获取预先训练的语义提取模型，所述语义提取模型包括一层BILSTM层和两层全连接层；将所述高维特征向量输入至预先训练的语义提取模型，得到所述图像数据的语义信息。3.根据权利要求2所述的方法，其特征在于，所述获取预先训练的语义提取模型，包括：获取预先创建的初始网络模型；获取第一训练数据，所述第一训练数据包括样本图像数据对应的样本高维特征向量和样本高维特征向量对应的标签语义信息；将所述样本高维特征向量输入至所述初始网络模型，得到第一训练结果；获取第一损失函数；将所述样本高维特征向量和所述第一训练结果输入至所述第一损失函数，得到第一损失函数值；使用所述第一损失函数值对所述初始网络模型进行迭代训练，得到语义提取模型。4.根据权利要求3所述的方法，其特征在于，所述获取第一训练数据，包括：将所述图像数据输入至基于Bert算法训练的字向量提取模型，得到图像数据对应的字向量；将所述图像数据作为样本图像数据；将所述图像数据对应的字向量作为样本高维特征向量对应的标签语义信息。5.根据权利要求1所述的方法，其特征在于，所述编码器基于稠密连接网络生成。6.根据权利要求5所述的方法，其特征在于，所述稠密连接网络包括密集块、平均池化层和最大池化层。7.根据权利要求1所述的方法，其特征在于，所述主分支包括解码器和编码器，所述编码器基于注意力机制生成；所述获取预先训练的文字识别模型，包括：将语义信息和编码器生成的高维特征向量输入解码器中得到预测结果；基于所述预测结果与损失函数确定所述文字识别模型。8.一种文字识别装置，其特征在于，所述装置包括：第一获取模块，用于获取图像数据，所述图像数据包括待识别的文字信息；第二获取模块，用于获取预先训练的文字识别模型，所述文字识别模型包括主分支和子分支，所述子分支用于获取所述图像数据的语义信息；所述主分支用于使用所述图像数据的语义信息识别所述图像数据的文字信息；2CN115937859A权利要求书2/2页文字识别模块，用于将所述图像数据输入至所述文字识别模型，得到识别后的文字信息。9.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的文字识别方法。10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一项所述的文字识别方法。3CN115937859A说明书1/8页文字识别方法、装置、设备及存储介质【技术领域】