物品识别方法、电子设备、可读存储介质及产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610005A(43)申请公布日2021.11.05(21)申请号202110910319.8(22)申请日2021.08.09(71)申请人元气森林（北京）食品科技集团有限公司地址100020北京市朝阳区东三环北路6号楼五层501室(72)发明人郭峰(74)专利代理机构北京智信四方知识产权代理有限公司11519代理人刘真(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)权利要求书2页说明书23页附图6页(54)发明名称物品识别方法、电子设备、可读存储介质及产品(57)摘要本公开实施例公开了一种物品识别方法、电子设备、可读存储介质及产品，该方法包括获取用户更新物品陈列时的目标视频的起始帧和结束帧；根据预设的目标检测模型分别获取起始帧和结束帧中目标物体的坐标信息；根据起始帧和结束帧中目标物体的坐标信息，依次确定起始帧和结束帧中相同位置的目标物体是否匹配；若存在参考位置的目标物体不匹配的情况，则确认在用户更新物品陈列前后参考位置的目标物体出现变动。根据本公开实施例，通过采集的每个用户拿取物品的目标视频即可动态获取货柜的物品陈列情况，实现对物品陈列的实时监控，以便于运维人员确认用户拿取物品的数量和\或类型，避免恶意用户多次拿取的情况。CN113610005ACN113610005A权利要求书1/2页1.一种物品识别方法，其特征在于，包括：获取用户更新物品陈列时的目标视频的起始帧和结束帧，所述起始帧包括用户未开始更新物品陈列时货架的陈列信息，所述结束帧包括用户已完成更新物品陈列时货架的陈列信息；根据预设的目标检测模型分别获取所述起始帧和所述结束帧中目标物体的坐标信息；所述目标物体至少包括货架上陈列的物品；根据所述起始帧和所述结束帧中目标物体的坐标信息，依次确定所述起始帧和所述结束帧中相同位置的目标物体是否匹配；若所述起始帧和所述结束帧中存在参考位置的目标物体不匹配的情况，则确认在用户更新物品陈列前后所述参考位置的目标物体出现变动。2.根据权利要求1所述的方法，其特征在于，所述根据预设的目标检测模型分别获取所述起始帧和所述结束帧中目标物体的坐标信息包括：根据预设的目标检测模型分别获取所述起始帧和所述结束帧中每个目标物体的多个边界框，不同的边界框的置信度不同；对每个目标物体的多个边界框进行非极大抑制处理，获取剩余的至少一个边界框；在所述剩余的至少一个边界框中确定置信度最大且超过预定边界阈值的边界框作为对应目标物体的边界框；根据每个所述目标物体的目标物体的边界框，获取每个所述目标物体的坐标信息。3.根据权利要求1所述的方法，其特征在于，所述根据预设的目标检测模型分别获取所述起始帧和所述结束帧中目标物体的坐标信息包括：根据预设的目标检测模型分别获取所述起始帧和所述结束帧中多个物品和多个隔架的坐标信息；根据所述多个物品和多个隔架的坐标信息，获取同一隔架上两个相邻物品之间的距离；若所述同一隔架上两个相邻物品之间的距离大于或等于预设距离阈值，确定所述两个相邻物品之间存在空货道。4.根据权利要求1至3任意一项权利要求所述的方法，其特征在于，所述获取用户更新物品陈列时的目标视频的起始帧和结束帧包括：对所述目标视频中的视频帧依次进行识别，获取物品数量不再变化且隔架未被遮挡的视频帧作为所述起始帧；获取所述目标视频中在所述起始帧后与所述起始帧的相似度满足预设条件的视频帧作为所述结束帧。5.根据权利要求4所述的方法，其特征在于，所述获取所述目标视频中在所述起始帧后与所述起始帧的相似度满足预设条件的视频帧作为所述结束帧包括：剔除所述目标视频中在所述起始帧后隔架被遮挡的视频帧；从剩余的多个视频帧中获取与所述起始帧的相似度最高的视频帧作为所述结束帧。6.根据权利要求5所述的方法，其特征在于，所述从剩余的多个视频帧中获取与所述起始帧的相似度最高的视频帧作为所述结束帧包括：从剩余的多个视频帧中获取与所述起始帧的汉明距离最小的视频帧作为所述结束帧。2CN113610005A权利要求书2/2页7.根据权利要求1至3任意一项权利要求所述的方法，其特征在于，所述根据所述起始帧和所述结束帧中目标物体的坐标信息，依次确定所述起始帧和所述结束帧中相同位置的目标物体是否匹配包括：根据所述起始帧和所述结束帧中目标物体的坐标信息，确定所述起始帧和所述结束帧中每个所述目标物体的感兴趣区域；在所述起始帧和所述结束帧中每个所述目标物体的感兴趣区域中识别每个所述目标物体的特征点；获取所述起始帧和所述结束帧中相同位置的目标物体的特征点的匹配百分比；若所述参考位置的所述匹配百分比大于或等于预设百分比阈值，确认所述起始帧和所述结束帧中所述参考位置的