一种基于神经网络的手写英文文本识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114708602A(43)申请公布日2022.07.05(21)申请号202210437836.2G06V10/774(2022.01)(22)申请日2022.04.25G06V10/82(2022.01)(71)申请人南京大学地址210046江苏省南京市栖霞区仙林大道163号(72)发明人李丽倪杨傅玉祥何书专李伟(74)专利代理机构北京中先生知识产权代理事务所(普通合伙)16063专利代理师窦贤宇(51)Int.Cl.G06V30/412(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图4页(54)发明名称一种基于神经网络的手写英文文本识别方法(57)摘要本发明提供一种基于神经网络的手写英文文本识别方法，具体包括：获取数据集并训练得到字母识别母模型与字母识别子模型；训练得到语法判断模型；构建词典模块；利用字母识别母模型以及单词提取算法得到初次识别结果；利用词典模块判断测试图片中单词是否全部存在；将不存在的单词利用字母识别子模型识别得到其它识别结果；利用词典模块和语法判断模型对其他识别结果进行分类；对所有识别结果进行优先级排序。本发明在保留YOLO中的NMS非极大值抑制算法的同时，可输出多种可能识别结果，同时应用新的单词提取算法实现了对识别结果中单词的划分，为手写英文文本识别任务提供了一种新方法，大大提高了识别的准确性和灵活性。CN114708602ACN114708602A权利要求书1/2页1.一种基于神经网络的手写英文文本识别方法，其特征在于：包括以下步骤：S101、获取包括所有种类英文字母的手写英文文本数据集作为母数据集；依序从所述母数据集中剔除某一英文字母，构建若干个子数据集；以所述母数据集和子数据集作为训练数据，采用YOLO算法训练得到字母识别母模型和若干个字母识别子模型；S102、获取包含以句子为单位的具有语法错误的非手写英文文本数据集，采用LSTM算法训练得到语法判断模型；S103、获取包含预定数量单词的词典，构建词典模块。2.如权利要求1所述的一种基于神经网络的手写英文文本识别方法，其特征在于：还包括：S104、获取手写英文文本测试图片，采用所述字母识别母模型进行识别，将识别结果利用预置的单词提取算法进行处理，得到单词初次识别结果，并形成文本初次识别结果；S105、采用词典模块判断单词初次识别结果是否都存在于词典中，如有不存在于词典中的单词，则判断单词初次识别结果中具有异常情况，并将不存在于词典中的单词标记为异常单词；S106、将所述异常单词从图片中裁剪出来，利用所述若干个字母识别子模型分别进行识别，得到异常单词的多个单词二次识别结果，并利用单词二次识别结果对所述初次识别结果进行替换，得到若干个文本二次识别结果；S107、采用所述词典模块检验依次检验文本二次识别结果，将文本二次识别结果分为单词均存在的文本二次识别结果和单词非均存在的文本二次识别结果，采用所述语法判断模型将单词均存在的文本二次识别结果分为符合语法规范的文本二次识别结果和不符合语法规范的文本二次识别结果；S108、将所有识别结果进行优先级排序：所述符合语法规范的文本二次识别结果＞所述文本初次识别结果＞所述不符合语法规范的文本二次识别结果＞所述单词非均存在的文本二次识别结果；将所有识别结果按所述优先级由高到低顺序输出。3.如权利要求2所述的一种基于神经网络的手写英文文本识别方法，其特征在于：步骤S101中构建若干个子数据集的过程为：采集识别时会发生混淆情况的至少两个字母，构建易混淆字母集；每次从母数据集中分别剔除易混淆字母集中的一个字母，构建除已剔除字母外的其他字母组成子数据集。4.如权利要求2所述的一种基于神经网络的手写英文文本识别方法，其特征在于：步骤S101、所述基于YOLO算法的模型结构中的卷积层包含运算有：卷积运算、批标准化以及激活函数，在生成权重和偏置数据用于推理时，将卷积和批标准化合并加快推理速度，激活函数y为：x为函数输入，y为函数输出。5.如权利要求2所述的一种基于神经网络的手写英文文本识别方法，其特征在于：步骤S104所述单词提取算法具体步骤如下：2CN114708602A权利要求书2/2页S201：YOLO算法输出的识别目标框的信息包括：识别目标框中心点位置、识别目标框长和宽、识别目标类别以及置信度，根据中心点在y轴位置确定位于同一行的识别目标，根据中心点的x轴位置大小将识别对象从左至右排序得到字符序列，该字符序列为等待单词分割的英文语句，同时利用所述识别目标框信息求得字母间距。6.如权利要求5所述的一种基于神经网络的手写英文文本识别方法，其特征在于：求字母间距的步骤