一种基于深度学习的指针式仪表自动读数方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837166A(43)申请公布日2021.12.24(21)申请号202110958619.3(22)申请日2021.08.20(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人黄志清孙峻礁(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人沈波(51)Int.Cl.G06K9/20(2006.01)G06K9/34(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/00(2006.01)G06T7/11(2017.01)权利要求书1页说明书4页附图6页(54)发明名称一种基于深度学习的指针式仪表自动读数方法(57)摘要本发明公开了一种基于深度学习的指针式仪表自动读数方法，训练基于Yolov4的目标检测模型，对表盘进行检测。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。本发明应用四种深度学习模型，以提高自然条件下的指针表读数精度。在对收集的5000张自然条件下拍摄的指针表图像进行读数后，本方法的错误率仅为1.57％，能够胜任在自然场景如燃气站、油田等场地等自动读数工作。CN113837166ACN113837166A权利要求书1/1页1.一种基于深度学习的指针式仪表自动读数方法，其特征在于：本方法包括以下步骤：步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测；对指针式仪表进行自动检测与识别首先就是要定位它的位置；选用网络层次较深的卷积神经网络，以获取更深层次的特征；Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出；CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入CSPnet结构；CSPnet模块增强Darknet53网络卷积层的学习能力；SPP‑block不用考虑图像大小，输出图像固定长度网络结构，并且在图像变形情况下表现稳定；PANet的作用是进行参数聚合以适用于不同level的目标检测；最后，Yolov4使用Yolov3Head，提取多特征层进行目标检测；通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中；步骤2：训练基于Unet的语义分割模型，分割指针；Unet主要分为下采样和上采样两个部分；下采样利用卷积层和池化层提取输入图像的深层特征；上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度；通过此网络，对输入的表图片进行处理，将指针区域分割出来；具体过程如图3所示；将分割出来的指针区域以二值图像的形式输入，经过开操作以去除小的噪声区域，保留完整剩余区域；之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度；步骤3：训练基于E2E‑MLT的文本检测与识别模型，对表盘文本进行识别；对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置；选用E2E‑MLT模型进行文本检测与识别；E2E‑MLT是一个端到端可训练的文本检测与识别模型，拥有文本定位与文本识别两个分支；训练一个网络同时实现文本的定位与识别功能；步骤4：训练基于自主设计的MSLnet的表盘主刻度线识别模型；根据获得的刻度数字文本位置，确定表盘圆心；将表盘转换为极坐标系，使得每条主刻度线水平排列；最后，根据映射到极坐标下的刻度数字位置，去除图像中的干扰部分；步骤5：基于上述检测结果，对指针表读数进行计算；最后，将极坐标系统下识别出的主刻度线还原到笛卡尔坐标系统下，结合指针角度、刻度数值、表盘单位，计算指针表的真实读数；公式1为具体计算公式；其中，(Amax，Vmax)和(Amin，Vmin)为与垂直方向夹角距离AP最近的两组主刻度线角度与对应刻度值；(Amax，Vmax)为刻度值较大的一组，(Amin，Vmin)为刻度值较小的一组；(AP，Amax，Amin)的数值范围都是(0，360)，顺时针方向增大；AP为305，(Amax，Vmax)为(318，80)，(Amin，Vmin)为(267，60)，再加上表盘单位值，综合计算结果R＝74.9℃。2.根据权利要求1所述的一种基于深度学习的指针式仪表自动读数方法，其特征在于：设计一个轻量级的卷积神经网络，用于定位极坐标后图像中的主刻度线位置，将其命名为MSLn