一种基于深度学习的盲文图像自动识别方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110298236A(43)申请公布日2019.10.01(21)申请号201910419983.5(22)申请日2019.05.20(71)申请人中国科学院计算技术研究所地址100080北京市海淀区中关村科学院南路6号(72)发明人刘宏黎仁强王向东钱跃良(74)专利代理机构北京律诚同业知识产权代理有限公司11006代理人祁建国梁挥(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T7/187(2017.01)权利要求书2页说明书7页附图6页(54)发明名称一种基于深度学习的盲文图像自动识别方法和系统(57)摘要本发明提出一种基于深度学习的盲文图像自动识别方法和系统，包括：获取多张盲文点字图像作为训练集，并获取其对应的标注图像，标注图像中每个像素均已标注为对应的盲方类别；以训练集中的盲文点字图像为输入，并以对应的盲方标注图像为标准答案，使用卷积神经网络训练语义分割模型，直到语义分割模型输出的语义分割结果图中每个像素的盲方类别和标准答案之间的差异低于阈值，保持当前语义分割模型作为盲方语义分割模型；将待识别的盲文点字图像输入盲方语义分割模型，得到待识别盲文点字图像的语义分割结果图，作为识别结果，识别结果中每个像素均对应其所属的盲方类别。CN110298236ACN110298236A权利要求书1/2页1.一种基于深度学习的盲文图像自动识别方法，其特征在于，包括：步骤1、获取多张盲文点字图像作为训练集，并获取其对应的标注图像，该标注图像中每个像素均已标注为对应的盲方类别；步骤2、以训练集中的盲文点字图像为输入，并以对应的盲方标注图像为标准答案，使用卷积神经网络训练语义分割模型，直到该语义分割模型输出的语义分割结果图中每个像素的盲方类别和该标准答案之间的差异低于阈值，保持当前该语义分割模型作为盲方语义分割模型；步骤3、将待识别的盲文点字图像输入该盲方语义分割模型，得到该待识别盲文点字图像的语义分割结果图，作为识别结果，该识别结果中每个像素均对应其所属的盲方类别。2.如权利要求1所述的基于深度学习的盲文图像自动识别方法，其特征在于，步骤3还包括：生成该识别结果的二值图，并进行形态学处理，通过删除该二值图中小于预设值的连通区域，并利用外接矩形表示每个连通区域，将连在一起的连通区域根据所属类别进行再次分割，标识每个盲方区域的类别信息，基于盲方区域生成盲方行列信息，并将该盲方行列信息转成包含格式信息的电子盲文。3.如权利要求2所述的基于深度学习的盲文图像自动识别方法，其特征在于，利用盲汉转化技术，将识别得到的该电子盲文转化为中文信息。4.如权利要求1所述的基于深度学习的盲文图像自动识别方法，其特征在于，该语义分割结果图为具有0到63灰度值的灰度图像或64种灰度值的灰度图像。5.如权利要求1所述的基于深度学习的盲文图像自动识别方法，其特征在于，该步骤1包括：以矩形框等方式在盲文点字图像上标注出每个盲方位置和大小，并赋予其对应的类别信息，以得到该盲文点字图像对应的盲方标注图像。6.一种基于深度学习的盲文图像自动识别系统，其特征在于，包括：模块1、获取多张盲文点字图像作为训练集，并获取其对应的标注图像，该标注图像中每个像素均已标注为对应的盲方类别；模块2、以训练集中的盲文点字图像为输入，并以对应的盲方标注图像为标准答案，使用卷积神经网络训练语义分割模型，直到该语义分割模型输出的语义分割结果图中每个像素的盲方类别和该标准答案之间的差异低于阈值，保持当前该语义分割模型作为盲方语义分割模型；模块3、将待识别的盲文点字图像输入该盲方语义分割模型，得到该待识别盲文点字图像的语义分割结果图，作为识别结果，该识别结果中每个像素均对应其所属的盲方类别。7.如权利要求6所述的基于深度学习的盲文图像自动识别系统，其特征在于，模块3还包括：生成该识别结果的二值图，并进行形态学处理，通过删除该二值图中小于预设值的连通区域，并利用外接矩形表示每个连通区域，将连在一起的连通区域根据所属类别进行再次分割，标识每个盲方区域的类别信息，基于盲方区域生成盲方行列信息，并将该盲方行列信息转成包含格式信息的电子盲文。8.如权利要求7所述的基于深度学习的盲文图像自动识别系统，其特征在于，利用盲汉转化技术，将识别得到的该电子盲文转化为中文信息。9.如权利要求6所述的基于深度学习的盲文图像自动识别系统，其特征在于，该语义分割结果图为具有0到63灰度值的灰度图像或64种灰度值的灰度图像。2CN110298236A权利要求书2/2页10.如权利要求6所述的基于深度学习的盲文图像自动识别系统，其特征在于，该模块1包括：以矩形框等方式在盲文点字图像上标注出每个盲方位置和大小，并赋