图像处理方法、装置、电子设备和计算机可读介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110751021A(43)申请公布日2020.02.04(21)申请号201910828394.2(22)申请日2019.09.03(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人郭义袁野俞刚(74)专利代理机构北京市磐华律师事务所11336代理人李晴(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书13页附图4页(54)发明名称图像处理方法、装置、电子设备和计算机可读介质(57)摘要本发明提供了一种图像处理方法、装置、电子设备和计算机可读介质，该图像处理方法包括：提取待处理视频的N个视频帧的初步特征图；将所述待处理视频的所述N个视频帧的初步特征图分别输入到时间递归神经网络的N个神经网络单元中，其中N为正整数；根据当前视频帧的所述初步特征图和第N-1个神经网络单元输出的状态流，从所述时间递归神经网络的第N个神经网络单元得到所述当前视频帧的输出特征图，其中所述当前视频帧为所述N个视频帧中的第N帧。本发明能够使待处理视频中的每个当前视频帧平等地获取前N-1个视频帧的状态信息，还能够避免引入与当前视频帧距离太遥远的视频帧的状态信息而对当前视频帧的目标对象检测造成干扰的问题。CN110751021ACN110751021A权利要求书1/2页1.一种基于时间递归神经网络的图像处理方法，其特征在于，所述方法包括：提取待处理视频的N个视频帧的初步特征图；将所述待处理视频的所述N个视频帧的初步特征图分别输入到所述时间递归神经网络的N个神经网络单元中，其中N为正整数；根据当前视频帧的所述初步特征图和第N-1个神经网络单元输出的状态流，从所述时间递归神经网络的第N个神经网络单元得到所述当前视频帧的输出特征图，其中所述当前视频帧为所述N个视频帧中的第N帧。2.根据权利要求1所述的基于时间递归神经网络的图像处理方法，其特征在于，还包括：丢弃所述时间递归神经网络的前N-1个神经网络单元输出的所述当前视频帧的前N-1个视频帧的输出特征图。3.根据权利要求1所述的基于时间递归神经网络的图像处理方法，其特征在于，还包括：获取所述待处理视频中目标对象的运动速度；根据所述运动速度，确定所述N的取值。4.根据权利要求1所述的基于时间递归神经网络的图像处理方法，其特征在于，还包括：将输入所述N个神经网络单元中的第一个神经网络单元的状态流设置为预设值。5.根据权利要求1所述的基于时间递归神经网络的图像处理方法，其特征在于，当所述当前视频帧为所述待处理视频的第n个视频帧时，将所述待处理视频的所述第n个视频帧之前的N-n个视频帧的初步特征图设置为预设特征图，其中1≤n＜N。6.根据权利要求1所述的基于时间递归神经网络的图像处理方法，其特征在于，还包括：基于所述当前视频帧的输出特征图进行图像检测，以得到所述当前视频帧中目标对象的检测结果。7.一种神经网络的训练方法，其特征在于，包括：提取样本视频的N个样本帧的初步特征图；将所述样本视频的所述N个样本帧的初步特征图分别输入到时间递归神经网络的N个神经网络单元中，其中N为正整数；根据当前样本帧的所述初步特征图和第N-1个神经网络单元输出的状态流，从所述时间递归神经网络的第N个神经网络单元得到所述当前样本帧的输出特征图，其中所述当前样本帧为所述N个样本帧中的第N帧；根据所述当前样本帧的输出特征图计算损失函数，并基于所述损失函数更新所述时间递归神经网络的参数。8.根据权利要求7所述的神经网络训练方法，其特征在于，还包括：丢弃所述时间递归神经网络的前N-1个神经网络单元输出的前N-1个样本帧的输出特征图。9.一种基于时间递归神经网络的图像处理装置，其特征在于，所述装置包括：提取模块，用于提取待处理视频的N个视频帧的初步特征图；以及2CN110751021A权利要求书2/2页输入模块，用于将所述待处理视频的所述N个视频帧的初步特征图分别输入到所述时间递归神经网络的N个神经网络单元中，其中N为正整数；输出模块，用于根据当前视频帧的所述初步特征图和第N-1个单元输出的状态流，从所述时间递归神经网络的第N个神经网络单元得到所述当前视频帧的输出特征图，其中所述当前视频帧为所述N个视频帧中的第N帧。10.一种神经网络的训练装置，其特征在于，所述装置包括：特征图提取模块，用于提取样本视频的N个样本帧的初步特征图；特征图输入模块，用于将所述样本视频的所述N个样本帧的初步特征图分别输入到时间递归神经网络的N个神经网络单元中，其中N为正整数；特征图输出模块，用于根据当前样本帧的所述初步特征图和第N-1个神经网络单元输出的状态流，从所述时间递归神