基于监控视频的智能收银巡检方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112749647A(43)申请公布日2021.05.04(21)申请号202011622332.5(22)申请日2020.12.30(71)申请人成都云盯科技有限公司地址610000四川省成都市中国(四川)自由贸易试验区成都高新区世纪城南路599号7栋8层803号、804号(72)发明人杨淼谢宏王鹏李攀(74)专利代理机构北京细软智谷知识产权代理有限责任公司11471代理人尚文文(51)Int.Cl.G06K9/00(2006.01)G07G1/12(2006.01)权利要求书3页说明书12页附图6页(54)发明名称基于监控视频的智能收银巡检方法及系统(57)摘要本申请涉及基于监控视频的智能收银巡检方法及系统。相应技术方案中，一方面，获取边缘设备采集的监控视频并进行人体检测，得到顾客在特定区域的停留时间段数据，进而与边缘设备关联后得到停留时间段关联数据，另一方面获取收银数据并与边缘设备关联后得到收银关联数据，然后通过停留时间段关联数据与对应的收银关联数据的对比判断收银状态是否异常，最后将判断结果发送到对应的智能设备以便用户查看。如此设置，可以通过监控视频快速且准确地确定收银状态是否异常，且判断过程无需花费人工成本，显著降低门店管理者的工作量，因此具有很高的实用性，且在业界属于首次提出，可以在一定程度填补行业技术空白。CN112749647ACN112749647A权利要求书1/3页1.一种基于监控视频的智能收银巡检方法，其特征在于，包括：获取监控视频图像；所述监控视频图像由设置在预设位置的边缘设备采集得到；基于人体检测算法，对所述监控视频图像的检测区域进行人体检测，并在检测到人体时，根据人体在所述检测区域的持续停留时间，生成停留时间段数据；获取收银数据；所述收银数据包括收银设备标识、收银时间和收银金额；将所述停留时间段数据和所述收银数据分别与所述边缘设备相关联，生成停留时间段关联数据和收银关联数据；根据所述停留时间段关联数据和所述收银关联数据，判断收银状态是否异常，得到判断结果；将所述判断结果推送至预设的智能设备。2.根据权利要求1所述的方法，其特征在于，所述基于人体检测算法，对所述监控视频图像的检测区域进行人体检测，并在检测到人体时，根据人体在所述检测区域的持续停留时间，生成停留时间段数据，包括：加载预先训练的检测模型；所述检测模型是基于深度学习算法得到的；基于所述检测区域，对所述监控视频图像进行裁剪；对裁剪后的图像进行重构，以使重构后的尺寸与所述检测模型的运算尺寸相适应；将重构后的图像输入所述检测模型，若生成人体检测框，则对生成的人体检测框进行筛选，得到人体检测结果；基于所述人体检测结果，若存在人体检测框，则记录当前时间作为第一时间点，直到不存在人体检测框时，记录当前时间作为第二时间点；基于所述第一时间点和所述第二时间点，确定停留时间段数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一时间点和所述第二时间点生成停留时间段数据，包括：对所述第一时间点至所述第二时间点的时间长度进行补偿；若补偿后的时间长度大于预设阈值，保留对应的第一时间点和第二时间点作为所述停留时间段数据；否则舍弃对应的第一时间点和第二时间点数据。4.根据权利要求1所述的方法，其特征在于，所述收银状态的异常包括“有单无客”和“有客无单”；所述根据所述停留时间段关联数据和所述收银关联数据，判断收银状态是否异常，得到判断结果，包括：输入单笔收银关联数据，基于关联的边缘设备和收银时间，获取对应的停留时间段关联数据；判断所述单笔收银关联数据中的收银时间与对应的停留时间段数据的闭区间是否存在交集，若是，得到收银状态为正常的判断结果，若否，得到收银状态为所述“有单无客”的异常判断结果；以及，输入单条停留时间段关联数据，基于关联的边缘设备和停留时间段数据，获取对应的收银关联数据；判断所述停留时间段数据的闭区间内是否存在对应的收银时间，若是，得到收银状态为正常的判断结果，若否，得到收银状态为所述“有客无单”的异常判断结果。5.一种基于监控视频的智能收银巡检方法，其特征在于，包括：获取监控视频图像；所述监控视频图像由设置在预设位置的边缘设备采集得到；2CN112749647A权利要求书2/3页基于人体行动检测算法，对所述监控视频图像的检测区域进行疑似人体检测，得到疑似人体图像；基于人体检测算法，对所述疑似人体图像进行人体检测，并在检测到人体时，根据人体在所述检测区域的持续停留时间，生成停留时间段数据；获取收银数据；所述收银数据包括收银设备标识、收银时间和收银金额；将所述停留时间段数据和所述收银数据分别与所述边缘设备相关联，生成停留时间段关联数据和收银关联数据；根据所述停留时间段关联数据