一种智能货柜商品购买识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115690663A(43)申请公布日2023.02.03(21)申请号202211434940.2(22)申请日2022.11.16(71)申请人北京中能达科技股份有限公司地址100123北京市朝阳区高碑店镇华腾世纪总部公园E2座7层(72)发明人周文殷本俊范小衫温超和段喜平武峰(74)专利代理机构北京方安思达知识产权代理有限公司11472专利代理师陈琳琳武玥(51)Int.Cl.G06V20/40(2022.01)G06V40/20(2022.01)G06V20/52(2022.01)权利要求书2页说明书7页附图1页(54)发明名称一种智能货柜商品购买识别方法及系统(57)摘要本发明提出了一种智能货柜商品购买识别方法，所述方法为服务器对智能货柜摄像头采集上传的视频进行分析，确认用户是否购买商品；所述方法具体包括：对商品进行检测，对手进行检测，判断商品和手的位置关系；跟踪手和商品的运动，判断用户是否拿走商品；通过对商品进行检测，确认商品和商品的位置；通过对手进行检测，确认手的位置；通过判断商品和手的位置关系，确认手是否拿取到商品；通过跟踪手和商品的运动，确认订单是否正常；通过判断用户是否拿走商品，确认用户是否购买商品。本发明的优势在于：本发明方法提高了商品识别的准确率，增加了用户成功购买商品的可靠性，有效的避免货损。CN115690663ACN115690663A权利要求书1/2页1.一种智能货柜商品购买识别方法，用于通过对智能货柜摄像头采集上传的视频进行分析，确认用户是否购买商品；所述方法具体包括：通过对视频中的商品进行检测，确认商品和商品的位置；通过对视频中的手进行检测，确认手的位置；通过判断视频中商品和手的位置关系，确认手是否拿取到商品；通过跟踪视频中手和商品的运动，确认订单是否正常；通过判断用户是否拿走商品，确认用户是否购买商品。2.根据权利要求1所述的智能货柜商品购买识别方法，其特征在于，所述对商品进行检测具体为：通过CenterNet检测模型对视频逐帧进行商品检测，得到商品标签和商品区域坐标；在检测商品的同时，调用CenterTrack跟踪模型将检测到的商品目标进行时序上的关联，即对每个检测目标设定一个ID，利用这个唯一的ID进行商品跟踪。3.根据权利要求1所述的智能货柜商品购买识别方法，其特征在于，所述对手进行检测具体为：利用基于yoloX算法的检测模型对视频逐帧行检测和跟踪；其中，将yoloX算法的IoUloss函数替换成CIoULoss函数；通过对手部检测得到手的位置坐标；在手检测模型中加入DeepSORT算法进行目标跟踪，将检测到的手目标进行时序上的关联，即对每个手目标设定一个ID，利用这个唯一的ID进行手的跟踪。4.根据权利要求1所述的智能货柜商品购买识别方法，其特征在于，所述判断商品和手的位置关系具体为：根据IoU交并比的计算规则判断商品和手的位置关系，判断用户是否拿取商品。5.根据权利要求4所述的智能货柜商品购买识别方法，其特征在于，所述IoU交并比的计算规则具体为：IoU＝A/((SKU+Hand)‑A)A＝|(X2‑HX1)|*|(Y2‑HY1)|SKU＝|(X2‑X1)|*|(Y2‑Y1)|Hand＝|(HX2‑HX1)|*|(HY2‑HY1)|其中，SKU为商品检测框区域；Hand为手检测框区域；A为商品检测框与手检测框的交集区域；X1、Y1为商品检测框的左上角坐标；X2、Y2为商品检测框的右下角坐标；HX1、HY1为手检测框左上角坐标；HX2、HY2为手检测框右下角坐标；IoU为交并比计算结果，设定阈值，当IoU大于阈值时判断手拿取了商品。6.根据权利要求1所述的智能货柜商品购买识别方法，其特征在于，所述跟踪手和商品的运动具体为：同时对商品和手启动跟踪，判断手拿取到商品后，在视频每一帧的检测结果中对于商品和手的组合建立一个ID组；将货柜划分为IN区域和OUT区域，在柜体IN区域和OUT区域分界线的前后几帧中进行实时检测，如果ID组中的ID一直没有改变，则订单保持正常；如果ID组中的ID发生了切换，则将该订单置为异常订单。7.根据权利要求6所述的智能货柜商品购买识别方法，其特征在于，所述判断用户是否2CN115690663A权利要求书2/2页拿走商品具体为：当判断到用户拿取了商品，且整个运动过程中商品ID和手的ID是保持不变的情况下，根据IN‑OUT逻辑规则，对用户拿取放回的状态进行最终的判断；IN‑OUT逻辑规则是：当手持商品从IN区域变化到OUT区域，即为用户拿出商品；当手持商品从OUT区域进入IN区域，即为用户放回商品。8.根据权利要求1所述的智能货柜商品购买识别方法，其特征在于，所述方法还包括：用户通过扫码或扫脸打开智能