一种基于事件相机的海上船舶目标识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140656A(43)申请公布日2022.03.04(21)申请号202210115350.7(22)申请日2022.02.07(71)申请人中船（浙江）海洋科技有限公司地址316000浙江省舟山市舟山海洋科学城A区（百川道11号）(72)发明人王文亮张一帆刘识灏秦鑫宇汪洋百惠杨晓迪(74)专利代理机构杭州杭诚专利事务所有限公司33109代理人俞则俭(51)Int.Cl.G06V10/764(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于事件相机的海上船舶目标识别方法(57)摘要本发明公开了一种基于事件相机的海上船舶目标识别方法。为了克服现有技术的异步稀疏的事件数据无法直接利用当前主流的卷积神经网络结构进行处理的问题；本发明依次包括事件数据采集，事件数据滤波，事件表征提取，海上船舶目标检测和海上船舶目标识别的过程，通过事件相机采集的事件数据，相较于传统图像和视频更低能耗地进行海上船舶目标识别任务。通过事件滤波和事件表征提取手段，将异步稀疏的事件数据转换为类似图像的同步事件表征，能够直接利用卷积神经网络进行处理。CN114140656ACN114140656A权利要求书1/2页1.一种基于事件相机的海上船舶目标识别方法，其特征在于，包括以下步骤：S1：使用事件相机采集事件数据，当检测到事件点数量发生突变时，记录数据进行后续操作；S2：使用事件体素滤波算法对事件数据进行滤波和降采样，去除无关事件点；S3：将滤波后的事件数据在时间域上等分为若干时间窗口，分别统计每个时间窗口中的正负事件数目，作为事件表征；S4：将事件表征输入训练好的船舶目标检测网络，获得预测的船舶目标框；S5：将预测的船舶目标框输入训练好的船舶分类网络，获得预测的船舶类型。2.根据权利要求1所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的事件数据为事件相机采集的离散数据，具体包括：事件触发坐标、事件触发时间戳以及事件触发极性；所述的事件触发极性包括：事件触发正极性以及事件触发负极性；其中，事件触发正极性表示光强变亮超过触发阈值，事件触发负极性表示光强变暗超过触发阈值。3.根据权利要求1或2所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的步骤S1具体包括以下过程：S101：设置事件队列，记录某段时间内的所有事件数据；S102：获取每一最小时间单元内的事件数据，将事件数据加入事件队列，并从事件队列中删除最早的事件数据；S103：设定第一事件点数量阈值，当事件队列中的事件点数量大于第一事件点数量阈值时，将该事件队列拷贝进入待处理事件队列以待后续操作；否则，不进行操作。4.根据权利要求3所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的步骤S2包括以下过程：S201：根据事件相机的空间分辨率和事件队列的长度，以相同的间距对时间维度与空间维度中进行等分，拆解成若干三维体素；S202：将被拷贝到待处理事件队列的事件队列中的所有事件按照事件触发坐标和事件触发时间戳分配到对应的三维体素中；S203：遍历每一个三维体素，计算其中所有事件的中心坐标和中心触发时间戳，以中心坐标和中心触发时间戳构建一个新的事件，代替该三维体素中向前的所有事件；S204：设定第二事件点数量阈值，删除其中事件点数量小于第二事件点数量阈值的三维体素中的所有事件点。5.根据权利要求1所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的事件表征为一种四维表征，具体包括：空间横坐标维、空间纵坐标维、事件极性维以及时间窗口维。6.根据权利要求1或5所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的步骤S4具体包括以下过程：S401：将事件表征输入深度卷积神经网络，进行特征提取，得到特征图；S402：以常见船舶长宽比例设置多尺度的船舶候选框模板，作为每一个像素的初始船舶目标框；S403：将特征图输入区域候选网络，调整船舶目标框的位置和大小，获得若干预测的船2CN114140656A权利要求书2/2页舶目标框，以及对应目标框的置信度得分；S404：针对获得的所有预测的船舶目标框，使用非极大值抑制手段，去除同属同一船舶的船舶目标框。7.根据权利要求1所述的一种基于事件相机的海上船舶目标识别方法，其特征在于，所述的步骤S5具体包括以下过程：S501：将所有预测的船舶目标框进行尺寸归一化，转化为若干相同尺寸的特征图；S502：将相同尺寸的特征图输入船舶分类网络，获得预测的各船舶类型概率向量；S503：取预测的各船舶类型概率向量中最高者对应的船舶类型，