时空脉冲信号的上采样方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115099262A(43)申请公布日2022.09.23(21)申请号202210550446.6(22)申请日2022.05.20(71)申请人北京大学地址100871北京市海淀区颐和园路5号(72)发明人田永鸿项锡捷朱林李家宁黄铁军(74)专利代理机构北京辰权知识产权代理有限公司11619专利代理师付婧(51)Int.Cl.G06K9/00(2022.01)G06N3/02(2006.01)权利要求书2页说明书8页附图4页(54)发明名称时空脉冲信号的上采样方法、装置、设备及存储介质(57)摘要本申请公开了一种时空脉冲信号的上采样方法、装置、设备及存储介质，所述方法包括：采集目标物体的时空脉冲信号；估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。根据本申请实施例提供的时空脉冲信号的上采样方法，可以将稀疏的脉冲信号上采样成稠密的脉冲信号，使得上采样后的脉冲信号可靠且有依据，有效解决时空脉冲信号稀疏性带来的问题，为基于脉冲信号的视觉任务提供更多有效数据，提升基于脉冲的下游任务性能。CN115099262ACN115099262A权利要求书1/2页1.一种时空脉冲信号的上采样方法,其特征在于,包括：采集目标物体的时空脉冲信号；估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。2.根据权利要求1所述的方法，其特征在于，采集目标物体的时空脉冲信号，包括：通过动态视觉传感器采集所述目标物体的时空脉冲信号；或，通过超高速全时视觉传感器采集所述目标物体的时空脉冲信号。3.根据权利要求1所述的方法，其特征在于，估计所述脉冲信号的运动轨迹，包括：通过对比度最大化算法估计所述脉冲信号的运动轨迹；或，通过最小化平均时间戳算法估计所述脉冲信号的运动轨迹；或，将所述脉冲信号转化为二维图像，并将所述二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹。4.根据权利要求1所述的方法，其特征在于，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号，包括：当所述运动轨迹上的脉冲数量大于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的主脉冲信号；当所述运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的噪声信号。5.根据权利要求1所述的方法，其特征在于，分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：通过点过程模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；或，通过预设的神经网络模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。6.根据权利要求5所述的方法，其特征在于，通过点过程模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：通过霍克斯点过程模型对所述主脉冲信号进行上采样，得到上采样后的主脉冲信号；通过自校正点过程模型对所述噪声信号进行上采样，得到上采样后的噪声信号。7.一种时空脉冲信号的上采样装置，其特征在于，包括：采集模块，用于采集目标物体的时空脉冲信号；运动估计模块，用于估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；上采样模块，用于分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；合并模块，用于将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。2CN115099262A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述运动估计模块，包括：运动估计单元，用于通过对比度最大化算法估计所述脉冲信号的运动轨迹；或，通过最小化平均时间戳算法估计所述脉冲信号的运动轨迹；或，将所述脉冲信号转化为二维图像，并将所述二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹；还包括脉冲信号分类单元，用于当所述运动轨迹上的脉冲数量大于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的主脉冲信号；当所述运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的噪声信号。9.一种电子设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任