一种基于滑动掩膜的视频行为数据增强方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116029929A(43)申请公布日2023.04.28(21)申请号202310021230.5(22)申请日2023.01.07(71)申请人西南石油大学地址610500四川省成都市新都区新都大道8号(72)发明人罗仁泽谭亮罗任权邓治林余泓李华督(51)Int.Cl.G06T5/00(2006.01)G06V10/774(2022.01)G06V10/82(2022.01)G06V40/20(2022.01)G06N3/0464(2023.01)G06N3/084(2023.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于滑动掩膜的视频行为数据增强方法(57)摘要本发明提出一种基于滑动掩膜的视频行为数据增强方法。该方法先对原有视频行为训练样本进行增强，构建新的增强样本，具体实施方法为：首先从全部数据集中随机提取出连续的视频图片并进行预处理作为训练样本；然后获取到模型训练的训练轮次信息，并计算数据增强算法的触发概率；然后根据触发概率判断是否对训练样本进行数据增强；判断为不需要增强时，直接使用训练样本对视频行为识别模型进行训练；判断为需要增强时，获取训练样本的长度、宽度、帧数信息，并据此产生对应的随机掩膜；最后将随机掩膜与训练样本进行合并得到增强样本，最后使用增强样本对视频行为识别模型进行训练。与现有技术相比，本发明具有提升效果好、效率优、简单等优点。CN116029929ACN116029929A权利要求书1/3页1.一种基于滑动掩膜的视频行为数据增强方法，其特征包括以下步骤：步骤1、制作训练样本X，具体步骤如下：(1)从数据集中随机选取出n个帧数为f的视频样本X′，f∈(1，64]；X′为c×f个a×b矩阵，a∈(224，1080)；b∈(224，1080)；c为视频图像的通道数量，c∈{1,3}；(2)对n个帧数为f的视频样本X′进行尺寸变换得到变换尺寸视频样本X″，X″为c×f个w×h；w、h为固定值224；然后对X″进行最大最小值归一化处理得到归一化视频样本X″′，X″′为c×f个w×h矩阵；计算公式如下：式中x″w″h代表矩阵X″′中的单个元素，x″w″h∈(‑1，1)；x″w″h代表矩阵X″′中的单个元素，x″w″h∈(0，255)；xmin代表归一化的最小值，xmin＝‑1；xmax代表归一化的最大值，xmax＝1；(3)最后将n个归一化视频样本X″′组成一个集合X作为训练样本，X＝{X1″，′X2″′，X3″′，…，X″n″}；训练样本X为n×c×f个w×h矩阵；n为训练样本X中归一化视频样本X″′的数量，n∈N；步骤2、数据增强算法根据训练轮次ei和最大训练轮次em计算触发概率pi，并得到训练样本X中的每一帧图像xi和相对应的掩膜Mi，具体步骤如下：(1)根据模型的训练轮次ei，和最大训练轮次em，计算数据增强算法的触发概率pi，触发概率的计算公式为：式中pi为数据增强算法的第i轮触发概率，pi∈(0，1]；em代表最大训练轮次，em∈N；ei代表当前第i轮训练轮次，ei∈(1，em]；(2)设置第i轮训练轮次的随机概率qi，qi＝random(0，1)；当第i轮训练轮次的随机概率qi大于触发概率pi时，算法使用三个参数l、j、r来产生掩膜M1，M1为c个相同的w×h矩阵组成，mik代表掩膜M1中c个相同的w×h矩阵的第i行k列的元素；mik∈{0，1}，i∈(0，224)，k∈(0，224)；掩膜M1中mik的计算公式如下：M1是与训练样本X中第1帧图像x1相对应的掩膜，M1为c个w×h矩阵；mwh∈{0，1}，mwh代表掩膜M1中的单个元素；l代表掩膜M1中栅格的数量，l∈[4，14]；j代表掩膜M1中栅格的宽度，j∈[16，56]；r代表掩膜M1随机旋转的角度，r∈(1°，360°]；三个参数的计算公式为：l＝rand(lmin，lmax)j＝random(jmin，jmax)r＝random(1°，360°)式中jmax代表M1中栅格的宽度j随机取值的上界，jmax∈[16，56]；jmin代表M1中栅格的宽度j随机取值的下界，jmin≤jmax；jmin，jmax的计算公式为：2CN116029929A权利要求书2/3页式中h代表掩膜M1的高度，l代表掩膜M1中栅格的数量；(3)数据增强算法对训练样本X中的每一帧图像xi和相对应的掩膜Mi进行合成，Mi为c个w×h矩阵；掩膜Mi的计算公式为：0＜i＜f，w1+dw＜wd＜w2+dw，h1+dh＜hd＜h2+dh式中，i为训练样本X中第i帧图像，w、h代表掩膜Mi的长宽，pi为数据增强算法的第i轮触发概率，f为训练样本X的帧数，wd代表掩膜Mi中删除区域的横坐标范围，wd