一种基于融合事件和RGB数据的水下暗光场景重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761472A(43)申请公布日2023.03.07(21)申请号202310024781.7G06V10/44(2022.01)(22)申请日2023.01.09G06V10/764(2022.01)G06V10/82(2022.01)(71)申请人吉林大学地址130012吉林省长春市前进大街2699号(72)发明人姜宇王跃航赵明浩齐红魏枫林王凯(74)专利代理机构哈尔滨市阳光惠远知识产权代理有限公司23211专利代理师姜艳红(51)Int.Cl.G06V20/05(2022.01)G06N3/048(2023.01)G06N3/08(2023.01)G06T7/246(2017.01)权利要求书3页说明书13页附图2页(54)发明名称一种基于融合事件和RGB数据的水下暗光场景重建方法(57)摘要本发明是一种基于融合事件和RGB数据的水下暗光场景重建方法。本发明涉及水下机器视觉技术领域，本发明利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；利用特征编码网络对事件序列和RGB帧进行特征编码，利用基于特征金字塔的多级Transformer编码器，得到多尺度事件和RGB特征提取分支；利用多阶段残差学习，融合事件和RGB特征，利用逐级上采样特征解码器，最终输出清晰的水下重建场景。实现对事件数据和RGB数据的高效融合，并在水下暗光场景重建清晰的图像，为水下的检测、识别和追踪任务提供了鲁棒的视觉表达。CN115761472ACN115761472A权利要求书1/3页1.一种基于融合事件和RGB数据的水下暗光场景重建方法，其特征是：所述方法包括以下步骤：步骤1、利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；步骤2、针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；步骤3、利用特征编码网络对事件序列和RGB帧进行特征编码，得到对应的特征描述子；步骤4、基于特征金字塔的多级Transformer编码器，得到多尺度事件和RGB特征提取分支；步骤5、利用多阶段残差学习，融合事件和RGB特征，得到多尺度空间深度融合信息表达；步骤6、利用逐级上采样特征解码器，最终输出清晰的水下重建场景。2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：步骤1.1、按其微秒级的时间戳进行对目标事件序列进行划分，针对每一水下场景，得到多个事件窗口；步骤1.2、根据所述的水下弱曝光RGB帧按其微秒级的时间戳与步骤1.1的事件窗口对齐；步骤1.3、遵循有监督学习策略，在提供额外照明条件下，采集正常照度的RGB帧作为标签数据，并保持与步骤1.2的弱曝光帧对齐；步骤1.4、根据步骤1.1、步骤1.2和步骤1.3所获得的结果，在剔除无效和冗余数据后，构建基准训练集和测试集，其比例为9:1。3.根据权利要求2所述的方法，其特征是：所述步骤2具体为：针对目标事件序列的异步稀疏性，对每一目标场景的目标事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图；其中，根据预先设定好的时间周期划分不同的事件窗口，每个事件窗口执行相同的体素网格化过程；根据预先设定好的时间周期对目标事件序列的编码时间戳进行均匀划分，得到多个事件窗口，将目标事件序列中的每个事件单元按照时间戳所在的事件窗口，对目标子数据进行划分，确定目标事件序列中每个事件单元的事件窗口编号。4.根据权利要求3所述的方法，其特征是：所述步骤3具体为：使用可形变卷积神经网络和下采样网络作为特征编码网络，对事件序列和RGB帧进行特征编码，构建多尺度特征金字塔，形成事件分支和RGB分支，每个分支获得对应5个尺度的特征描述子，其大小分别为原始输入的[1,1/2,1/4,1/8,1/16]。5.根据权利要求4所述的方法，其特征是：所述步骤4具体为：基于特征金字塔的多级Transformer编码器包含两个阶段：第一阶段对输入的事件特征分支或RGB特征分支执行深度特征抽取，得到对应分支的深度特征描述子；第二阶段对经过多阶段残差多模态融合后的融合特征描述子执行细粒度高维特征提取；每一阶段的编码器含有5级多尺度平行结构，每一级尺度执行相同的特征提取操作，这5级多尺度特征将在解码空间逐级合并。6.根据权利要求5所述的方法，其特征是：所述步骤5具体为：2CN115761472A权利要求书2/3页将Transformer编码器第一阶段的输出数据作为多阶段残差学习模块的输入，执行多模态残差融合，即对每一级的事件特征描述子和RGB特征描述子执行细粒度特征融合，得到融合特征描述子，用于基于特征金字塔的多级Transformer编码