跌倒检测方法、装置、设备终端和可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035552A(43)申请公布日2022.09.09(21)申请号202210958234.1G06V10/82(2022.01)(22)申请日2022.08.11G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人深圳市爱深盈通信息技术有限公司地址518000广东省深圳市南山区西丽街道曙光社区TCL国际E城G3栋1001(72)发明人何厚峰周有喜(74)专利代理机构深圳市嘉勤知识产权代理有限公司44651专利代理师辛鸿飞(51)Int.Cl.G06V40/10(2022.01)G06V20/52(2022.01)G06V10/34(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)权利要求书2页说明书6页附图6页(54)发明名称跌倒检测方法、装置、设备终端和可读存储介质(57)摘要本申请涉及跌倒检测方法、装置、设备终端和可读存储介质，该跌倒检测方法包括：基于YOLOv5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；根据所述人体动作类别信息，判断对应人体是否处于跌倒状态，上述跌倒检测方法在不同的场景覆盖情况下能够准确的对人体跌倒状态进行判断。CN115035552ACN115035552A权利要求书1/2页1.一种跌倒检测方法，其特征在于，包括：基于YOLOv5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；根据所述人体动作类别信息，判断对应人体是否处于跌倒状态。2.根据权利要求1所述的跌倒检测方法，其特征在于，所述YOLOv5目标检测模型包括依次连接的输入层、特征提取层、预测输出层和图像输出处理层，所述基于YOLOv5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像的步骤包括：基于所述输入层、所述特征提取层和所述预测输出层，对输入的视频帧图像数据中的行人进行检测，得到初步人形目标图像；基于所述图像输出处理层，对所述初步人形目标图像的大小进行调整，以得到正方形的人形目标图像。3.根据权利要求2所述的跌倒检测方法，其特征在于，所述基于所述图像输出处理层，对所述初步人形目标图像的大小进行调整，以得到正方形的人形目标图像的步骤包括：基于所述图像输出处理层，获取所述初步人形目标图像，判断所述初步人形目标图像是否为正方形；若否，则获取所述初步人形目标图像中的最长边；根据所述初步人形目标图像中的最长边计算缩放系数，根据所述缩放系数对所述初步人形目标图像进行缩放，得到缩放后的初步人形目标图像；以所述缩放后的初步人形目标图像的最长边为基准边长，输出正方形的人形目标图像。4.根据权利要求3所述的跌倒检测方法，其特征在于，所述以所述缩放后的初步人形目标图像的最长边为基准边长，输出正方形的人形目标图像的步骤包括：以所述缩放后的初步人形目标图像的最长边为基准边长，生成对应的黑色正方形背景图；将所述缩放后的初步人形目标图像中的最长边与所述黑色正方形背景图中的一边相对齐，生成并输出正方形的人形目标图像。5.根据权利要求2所述的跌倒检测方法，其特征在于，所述特征提取层和所述预测输出层之间还设置有平滑网络层，所述基于YOLOv5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像的步骤包括：基于所述输入层和所述特征提取层，对输入的视频帧图像数据进行处理，提取得到对应目标的中间特征图；获取相邻视频帧图像数据中同一目标各自对应的中间特征图；基于所述平滑网络层对输入的各个中间特征图进行平滑处理，获取相邻视频帧图像数据中同一目标各自对应中间特征图之间的速度、位置、加速度以及面积的变化信息；将所述变化信息输入到所述预测输出层进行特征融合，以输出得到初步人形目标图像；基于所述图像输出处理层，对所述初步人形目标图像的大小进行调整，以得到正方形2CN115035552A权利要求书2/2页的人形目标图像。6.根据权利要求5所述的跌倒检测方法，其特征在于，所述YOLOv5目标检测模型中对应的损失函数为：其中，Loss为YOLOv5目标检测模型中对应的损失函数，Lcls为分类损失，为Lcls的对应系数，Lobj为目标损失，为Lobj的对应系数，Lloc为平滑处理损失，为Lloc的对应系数，C为目标检测框中的关键坐标点数目，T为所述中间特征图对应的视频帧图像数据的总帧数，t为帧变量，表示第t帧视频帧图像数据所对应的目标检测框经过所述平滑处理后的预测值，i表