手写数学公式识别方法、系统、设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114882512A(43)申请公布日2022.08.09(21)申请号202210591293.X(22)申请日2022.05.27(71)申请人圣码智能科技（深圳）有限公司地址518000广东省深圳市南山区粤海街道深圳软件园一期2栋201-9(72)发明人邓伟廷邓智升(74)专利代理机构东莞高瑞专利代理事务所(普通合伙)44444专利代理师杨英华(51)Int.Cl.G06V30/226(2022.01)G06V30/18(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图2页(54)发明名称手写数学公式识别方法、系统、设备和存储介质(57)摘要本发明提供一种手写数学公式识别方法、系统、设备和存储介质，方法包括对手写数学公式图像进行灰度化处理；卷积神经网络对灰度化的图片进行编码处理；BIGRU‑Attention模型对编码数据进行解码处理。本发明由于采用了卷积神经网络和BIGRU‑Attention模型，加强了特征提取，促进了梯度传播，工作效率得到了提高，其识别率有了较大提升，正确率有了提高；在对输入的数据集进行图像的特征提取时，丢掉了图像不重要的特征，保留了重要的图像特征，降低了编码和解码的时间；提高了对特征的提取速率，对数学表达式的识别效率。CN114882512ACN114882512A权利要求书1/2页1.一种手写数学公式识别方法，其特征在于，包括如下步骤:对手写数学公式图像进行灰度化处理；卷积神经网络对灰度化的图片进行编码处理；BIGRU‑Attention模型对编码数据进行解码处理。2.根据权利要求1所述的方法，其特征在于，在上述卷积神经网络对灰度化的图片进行编码处理的步骤中，还包括如下内容：对灰度化的图片进行卷积处理；对卷积处理后的数据进行池化处理；对池化后的数据进行压缩。3.根据权利要求2所述的方法，其特征在于，在上述对灰度化的图片进行卷积处理的步骤中，还包括如下内容：将灰度化的图片分解为一系列有重叠的像素块；将每个所述像素块输入到一个神经网路中，并保持权重不变；将所述像素块转化成矩阵；将输出值排成矩阵。4.根据权利要求1所述的方法，其特征在于，在上述BIGRU‑Attention模型对编码数据进行解码处理的步骤中，还包括如下内容：读取所述编码数据并进行清洗和向量化；对词向量进行处理；输出识别后的数学公式。5.根据权利要求4所述的方法，其特征在于，在读取所述编码数据并进行清洗和向量化的步骤中，还包括如下内容：读取所述编码数据并进行清洗；将数据向量化为规定长度的形式；随机初始化数据，按8:2划分训练集和测试集。6.根据权利要求5所述的方法，其特征在于，在对词向量进行处理的步骤中，还包括如下内容：计算BiGRU层输出的词向量；计算每个词向量应分配的概率权重；对分配的不同概率权重与各个隐层状态的乘积进行累加，使用softmax函数做归一化操作。7.一种手写数学公式识别系统，其特征在于，包括：灰度处理模块，用于对手写数学公式图像进行灰度化处理；卷积神经网络，用于对灰度化的图片进行编码处理；BIGRU‑Attention模型，用于对编码数据进行解码处理。8.根据权利要求7所述的系统，其特征在于，所述卷积神经网络包括：卷积层，由于对灰度化的图片进行卷积处理；池化层，用于对卷积处理后的数据进行池化处理；压缩模块，用于对池化后的数据进行压缩。2CN114882512A权利要求书2/2页9.根据权利要求8所述的系统，其特征在于，所述卷积层包括如下内容：分解模块，用于将灰度化的图片分解为一系列有重叠的像素块；像素块输入模块，用于将每个所述像素块输入到一个神经网路中，并保持权重不变；转化模块，用于将所述像素块转化成矩阵；排列模块，用于将输出值排成矩阵。10.根据权利要求7所述的系统，其特征在于，所述BIGRU‑Attention模型包括：向量化输入层，用于读取所述编码数据并进行清洗和向量化；隐含层，用于对词向量进行处理；输出层，用于输出识别后的数学公式。11.根据权利要求10所述的系统，其特征在于，所述向量化输入层包括如下内容：清洗模块，用于读取所述编码数据并进行清洗；规定模块，用于将数据向量化为规定长度的形式；初始化模块，用于随机初始化数据，按8:2划分训练集和测试集。12.根据权利要求10所述的系统，其特征在于，所述隐含层包括如下内容：词向量计算模块，用于计算BiGRU层输出的词向量；权重计算模块，用于计算每个词向量应分配的概率权重；归一化处理模块，用于对分配的不同概率权重与各个隐层状态的乘积进行累加，使用softmax函数做归一化操作。13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机