用于行人跌倒检测的方法、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887469A(43)申请公布日2022.01.04(21)申请号202111201743.1(22)申请日2021.10.15(71)申请人黑龙江雨谷科技有限公司地址150000黑龙江省哈尔滨市平房区渤海路7号裙楼A-54(72)发明人国强王亚妮王文博戚连刚(74)专利代理机构烟台上禾知识产权代理事务所(普通合伙)37234代理人赵加鑫(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称用于行人跌倒检测的方法、系统和存储介质(57)摘要本发明公开了一种用于行人跌倒检测的方法，包括：步骤S1：获取人类正常活动和跌倒的视频数据；步骤S2：根据视频数据，构建初始训练集；步骤S3：根据初始训练集，构建并训练YOLACT行人检测模型；步骤S4：根据YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；步骤S5：根据行人头部和中心点轨迹，得到三维行人轨迹特征；步骤S6：根据三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。YOLACT行人目标检测的计算速度可以达到实时性的要求，为后续的跌倒特征分析提供有力的预处理支撑，对复杂环境和不同拍摄角度下的行人跌倒进行有效监控。还公开了一种用于行人跌倒检测的系统和存储介质。CN113887469ACN113887469A权利要求书1/2页1.一种用于行人跌倒检测的方法，其特征在于，包括：步骤S1：获取人类正常活动和跌倒的视频数据；步骤S2：根据所述视频数据，构建初始训练集；步骤S3：根据所述初始训练集，构建并训练YOLACT行人检测模型；步骤S4：根据所述YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；步骤S5：所述行人头部和中心点轨迹添加时序特征，得到三维行人轨迹特征；步骤S6：根据所述三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。2.根据权利要求1所述的方法，其特征在于，所述步骤S3，进一步包括：步骤S31：对于所述初始训练集，采用深度残差网络作为特征提取模块，各层分别输出不同尺度特征；步骤S32：采用特征金字塔网络进行特征提取网络各尺度特征融合，并进行感兴趣区域提取；步骤S33：根据卷积神经网络构建预测头部网络；步骤S34：根据全卷积神经网络构建原型生成网络；步骤S35：将所述预测头部网络和所述原型生成网络组合输出，得到所述YOLACT行人检测模型。3.根据权利要求1或2所述的方法，其特征在于，所述步骤S4中，进一步包括：步骤S41：对所述YOLACT行人检测模型输出的行人目标掩模进行轮廓阈值滤波处理，得到分隔后的行人轮廓。4.根据权利要求3所述的方法，其特征在于，所述步骤S4，还包括：步骤S42：使用所述YOLACT行人检测模型对所述分隔后的行人轮廓进行行人头部轨迹跟踪初始化，通过粒子滤波进行行人头部轨迹跟踪；步骤S43：取行人拟合矩形中心点和形态学质心点连线的中心点为行人中心点，进行行人中心点轨迹跟踪。5.根据权利要求3所述的方法，其特征在于，所述步骤S5进一步包括：在三维空间内绘制所述行人头部轨迹和所述行人中心点轨迹，将两路轨迹时间轴进行一一对应，得到所述三维行人轨迹特征，其中所述三维空间的第一轴和第二轴为各时刻轨迹的空间点坐标，第三轴为轨迹点的时间采样。6.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：对所述视频数据进行采样，通过图像预处理进行数据集扩充后，构建所述初始训练集。7.根据权利要求1所述的方法，其特征在于，所述步骤S6进一步包括：步骤S61：根据所述三维行人轨迹，构建第一训练集；步骤S62：对于所述第一训练集，采用卷积神经网络作为网络特征提取模块，采用所述双向门控循环单元分类网络对所述网络特征提取模块的输出数据进行时序分析，从而提取行人运动轨迹中的时间‑空间关联性特征；步骤63：采用全连接层将双向门控循环单元所提取的行人轨迹时空特征和softmax分类器相连接，利用时空特征对所述三维行人轨迹进行分类，对行人跌倒进行检测。8.一种用于行人跌倒检测的系统，其特征在于，包括：2CN113887469A权利要求书2/2页数据集获取模块，用于获取人类正常活动和跌倒的视频数据；数据集划分模块，与所述数据集获取模块连接，用于根据所述视频数据，构建初始训练集；模型获取模块，与所述数据集划分模块连接，用于根据所述初始训练集，构建并训练YOLACT行人检测模型；轨迹跟踪模块，与所述模型获取模块连接，用于根据所述YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；三维轨迹获取模块，与所述轨迹跟踪