基于目标检测的二阶段盲文检测识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114565926A(43)申请公布日2022.05.31(21)申请号202210209206.X(22)申请日2022.03.04(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人卜佳俊谷雨于智李亮城邢航笛邵子睿(74)专利代理机构杭州天正专利事务所有限公司33201专利代理师楼明阳(51)Int.Cl.G06V30/40(2022.01)G06V30/148(2022.01)权利要求书1页说明书3页附图1页(54)发明名称基于目标检测的二阶段盲文检测识别方法(57)摘要一种基于目标检测的二阶段盲文检测识别方法，其中盲文检测识别特指将纸质盲文扫描图片中的每个盲文字符检测并识别出来，通过计算机视觉领域的目标检测技术，首先使用盲文行检测模型检测出图片中的所有盲文行，然后使用盲文单字检测模型从盲文行的基础上做进一步检测识别，直接获得盲文行中所有盲文字符的位置和类别。该发明使用少量数据即可训练得到良好的检测识别模型，有助于盲文机器翻译后续工作的进行，同时可减轻训练数据标注的难度和成本。CN114565926ACN114565926A权利要求书1/1页1.一种基于目标检测的二阶段盲文检测识别方法，其特征在于，包括如下步骤：S110,使用盲文行检测模型得到纸质盲文扫描图片中的所有盲文行坐标；S120,根据盲文行坐标，将图片中的所有盲文行按照从上到下的顺序裁剪下来，依次送入盲文单字检测模型；S130,使用盲文单字检测模型得到每个盲文行图片中所有盲文字符的坐标和类别；S140,根据盲文行检测坐标和单字检测坐标还原整张图片的盲文检测识别结果。2.如权利要求1所述的基于目标检测的二阶段盲文检测识别方法，其特征在于，步骤S110包括：S1101将盲文行作为检测目标，完成盲文图片数据的盲文行位置框坐标标注；S1102使用目标检测算法CenterNet训练一个盲文行检测模型；S1103使用盲文行检测模型检测得到盲文图片上n个盲文行的左上右下坐标集合3.如权利要求1所述的基于目标检测的二阶段盲文检测识别方法，其特征在于，步骤S120,包括：S1201对检测出的所有盲文行，按照其左上y坐标进行升序排序；S1202按照排好的盲文行顺序，使用OpenCV的裁剪函数按照坐标依次裁剪出盲文行图片。4.如权利要求1所述的基于目标检测的二阶段盲文检测识别方法，其特征在于，步骤S130包括：S1301采样部分盲文行图片，将每个盲文字符作为目标，按照目标检测任务，标注盲文单字位置框坐标和类别；S1302使用目标检测算法CenterNet训练盲文单字检测模型；S1303使用盲文单字检测模型检测每张盲文行图片中的所有盲文字符的坐标和类别C＝{c1,c2,…,cm},ci∈[0,63]。5.如权利要求1所述的基于目标检测的二阶段盲文检测识别方法，其特征在于，步骤S140包括：按照盲文行左上y坐标从上到下的顺序，盲文行内盲文单字左上x坐标从左到右的顺序，输出检测识别结果。2CN114565926A说明书1/3页基于目标检测的二阶段盲文检测识别方法技术领域[0001]本发明涉及计算机视觉领域，具体涉及一种基于目标检测的二阶段盲文检测识别方法。背景技术[0002]盲文是盲人使用的书面文字，每个盲文字符由3行2列的凸点和非凸点构成。对盲文的自动化机器翻译不仅有助于正常人和盲人的书面交流，更能减轻盲校教师批改盲人学生作业和试卷的压力。准确的盲文检测和识别是整个盲文机器翻译工作的基础和关键。[0003]目前的盲文检测识别方法主要分两类，传统方法和深度学习方法。传统方法无需训练数据，直接根据规则对盲文进行检测识别，但是准确率较低，泛化性较差。深度学习方法准确率较高，但是需要标注大量训练数据。而对盲文字符的标注十分困难并且成本极大。本发明针对上述问题提出一种新的盲文检测识别解决方案。发明内容[0004]本发明要克服现有技术的上述缺点，提供一种基于目标检测的二阶段盲文检测识别方法。[0005]为了解决上述技术问题，本发明提出一种基于目标检测的二阶段盲文检测识别方法，包括：[0006]S110，使用盲文行检测模型得到纸质盲文扫描图片中的所有盲文行坐标；[0007]S120，根据盲文行坐标，将图片中的所有盲文行按照从上到下的顺序裁剪下来，依次送入盲文单字检测模型；[0008]S130，使用盲文单字检测模型得到每个盲文行图片中所有盲文字符的坐标和类别；[0009]S140，根据盲文行检测坐标和单字检测坐标还原整张图片的盲文检测识别结果。[0010]进一步的，步骤S110所述的使用盲文行检测模型得到纸质盲文扫描图片中的所有盲文行坐标，具体包括：[0011]S1101将盲文行作为检测目标，完成盲文图片数