一种船舶辅助驾驶数据的处理方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111103977A(43)申请公布日2020.05.05(21)申请号201911249319.7(22)申请日2019.12.09(71)申请人武汉理工大学地址430063湖北省武汉市珞狮路122号武汉理工大学(72)发明人马枫刘佳仑李诗杰李晨王俊逸(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人黎扬鹏(51)Int.Cl.G06F3/01(2006.01)G06F3/0481(2013.01)B63B49/00(2006.01)G06K9/00(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种船舶辅助驾驶数据的处理方法和系统(57)摘要本发明公开了一种船舶辅助驾驶数据的处理方法和系统，所述方法包括以下步骤：获取驾驶员的头部视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息；根据视觉盲区位置信息获取视觉盲区位置的视频数据；对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示。本发明能使得LED显示屏显示的视频图像跟随驾驶员视角方向的变化而变化，从而保证显示的视频图像与驶员视角方向的图像相匹配，以提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。本发明可广泛应用于船舶交通技术领域。CN111103977ACN111103977A权利要求书1/2页1.一种船舶辅助驾驶数据的处理方法，其特征在于：包括以下步骤：获取驾驶员的头部视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息；根据视觉盲区位置信息获取视觉盲区位置的视频数据；对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示。2.根据权利要求1所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述根据头部视频数据计算驾驶员的视觉盲区位置信息，其具体包括：对头部视频数据内的人眼进行检测，并对瞳孔进行定位；根据瞳孔的定位结果获取左右眼的二维坐标；获取左右眼的视差信息；根据左右眼的视差信息和二维坐标计算左右眼的三维坐标；识别头部视频数据内驾驶员的头部特征；获取像素坐标系的平移和旋转矩阵与世界坐标系的平移和旋转矩阵；根据驾驶员的头部特征与平移和旋转矩阵计算驾驶员的头部姿态角；根据驾驶员左右眼的三维坐标和头部姿态角计算视觉盲区位置信息。3.根据权利要求2所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述根据视觉盲区位置信息获取视觉盲区位置的视频数据，其具体包括：根据视觉盲区位置信息计算视觉盲区位置上船载摄像机的视场偏移量；将视场偏移量发送到视觉盲区位置上的船载摄像机；接收视觉盲区位置上的船载摄像机上传的视频数据。4.根据权利要求1所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述对视觉盲区位置的视频数据内的船舶信息进行处理，其具体为：根据视觉盲区位置的视频数据内的船舶信息，采用深度视觉模型构建船舶模型；所述船舶模型的构建过程，其具体包括：对视觉盲区位置的视频数据进行帧分割；将每帧的视频数据发送到残差网络提取船舶特征；根据提取到的船舶特征，采用目标估计网络修正剩余船舶特征；根据提取到的船舶特征和剩余船舶特征，采用区域特征聚集和非极大值抑制确定船舶类型；根据船舶类型，采用全卷积网络和阈值分割法生成船舶的形状掩码信息；将船舶的形状掩码信息转换成第一显示视频流。5.根据权利要求4所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述对视觉盲区位置的视频数据内的周围环境信息进行处理，其具体包括：根据视觉盲区位置的视频数据内的周围环境信息生成船舶模型的周围环境信息；将船舶模型的周围环境信息转换成第二显示视频流。6.根据权利要求5所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，其具体为：将第一显示视频流和第二显示视频流进行叠加后发送到LED显示屏进行显示。2CN111103977A权利要求书2/2页7.一种船舶辅助驾驶数据的处理系统，其特征在于：包括：视觉跟踪单元，用于采集驾驶员的头部视频数据，将头部视频数据发送到控制单元；视觉采集单元，用于根据视觉盲区位置信息采集视觉盲区位置的视频数据，将视觉盲区位置的视频数据发送到控制单元；控制单元，用于接收头部视频数据和视觉盲区位置的视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元；以及对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；LED显示单元，用于显示处理后的船舶信息和周围环境信息。8.根据权利要求7所述的一种船舶辅助驾驶数据的处理系统，其特征在于：所述视觉跟