一种基于深度学习的手写盲文识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115171109A(43)申请公布日2022.10.11(21)申请号202210653603.6(22)申请日2022.06.09(71)申请人中国科学院计算技术研究所地址100080北京市海淀区中关村科学院南路6号(72)发明人刘宏雷欣王向东钱跃良(74)专利代理机构北京律诚同业知识产权代理有限公司11006专利代理师祁建国陈思远(51)Int.Cl.G06V30/10(2022.01)G06V30/148(2022.01)G06V30/19(2022.01)权利要求书2页说明书9页附图3页(54)发明名称一种基于深度学习的手写盲文识别方法及系统(57)摘要本发明提出一种基于深度学习的手写盲文识别方法和系统，包括采用已标注盲符区域的盲文图像训练语义分割模型进行像素级分割，得到预训练模型；获取训练用手写盲文图像和待识别手写盲文图像，并将训练用手写盲文图像输入预训练模型，得到初步盲符识别结果并进行标注，基于标注数据对预训练模型进行迁移学习，得到新模型；待识别手写盲文图像通过新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将盲符识别结果通过盲文电子化操作转化为电子盲文；根据通用盲文规则，将电子盲文映射为拼音与标点符号，并利用通用盲文的标调规则和简写规则对拼音进行标调，得到待识别手写盲文图像的手写盲文识别结果和转拼音结果。CN115171109ACN115171109A权利要求书1/2页1.一种基于深度学习的手写盲文识别方法，其特征在于，包括：步骤1、采用已标注盲符区域的标准盲文图像训练语义分割模型进行64类盲符的像素级分割，训练得到预训练模型；步骤2、获取训练用手写盲文图像和待识别手写盲文图像，并将该训练用手写盲文图像输入该预训练模型，得到初步盲符识别结果，经过对该初步盲符识别结果进行校对和标注，得到标注数据，基于该标注数据对该预训练模型进行迁移学习，得到新模型；步骤3、该待识别手写盲文图像通过该新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将该盲符识别结果通过盲文电子化操作转化为电子盲文；步骤4、根据通用盲文规则，将该电子盲文映射为拼音与标点符号，并利用通用盲文的标调规则和简写规则对拼音进行标调，得到该待识别手写盲文图像的手写盲文识别结果和转拼音结果。2.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤4包括：根据该标调规则和该简写规则标记出该电子盲文中符合盲文规则的盲文和不符合盲文规则的盲文，将符合盲文规则的盲文和盲文原有的声调采用同一种颜色或字体进行展示，将根据通用盲文的省写规则后加声调用另外一种颜色或字体进行表示，不符合盲文规则的盲文用第三种颜色或字体进行显示。3.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该训练用手写盲文图像和该待识别手写盲文图像具有用于标识盲符方向的符号，通过识别检测该符号，统一每张该训练用手写盲文图像和该待识别手写盲文图像的标识盲符方向，得到方向统一的训练用手写盲文图像和方向统一的待识别手写盲文图像；根据所有训练数据和用于迁移学习的手写盲文图像统计颜色分布，对方向统一的待识别手写盲文图像的颜色进行归一化处理，处理后的图像输入该新模型。4.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤1包括将标准盲文图像裁剪为多个大小一致的区域来进行训练，同时对应的盲符区域也进行相应的裁剪，在训练阶段采用交叉熵损失和Dice损失不断更新网络参数，直到交叉熵损失和Dice损失均收敛，得到该预训练模型。5.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤2包括：经过人工校对和标注，得到该初步盲符识别的盲符标注图，并将该盲符标注图极其对应的该训练用手写盲文图像输入该预训练模型进行迁移学习，得到优化后的该新模型。6.一种基于深度学习的手写盲文识别系统，其特征在于，包括：初始模块，用于采用已标注盲符区域的标准盲文图像训练语义分割模型进行64类盲符的像素级分割，训练得到预训练模型；迁移学习模块，用于获取训练用手写盲文图像和待识别手写盲文图像，并将该训练用手写盲文图像输入该预训练模型，得到初步盲符识别结果，经过对该初步盲符识别结果进行校对和标注，得到标注数据，基于该标注数据对该预训练模型进行迁移学习，得到新模型；识别模块，用于使该待识别手写盲文图像通过该新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将该盲符识别结果通过盲文电子化操作转化为电子盲文；根据通用盲文规则，将该电子盲文映射为拼音与标点符号，并利用通用盲文的标调规2CN115171109A权利要求书2/2页则和简写规则对拼音进行标调，得到该待识别手写盲文图像的手写盲文识别