基于多视角图像采集的商品推荐处理方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115049964A(43)申请公布日2022.09.13(21)申请号202210744783.9(22)申请日2022.06.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人武文琦(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师付先智(51)Int.Cl.G06V20/40(2022.01)G06V40/10(2022.01)G06V10/62(2022.01)G06Q30/06(2012.01)权利要求书3页说明书13页附图5页(54)发明名称基于多视角图像采集的商品推荐处理方法及装置(57)摘要本说明书实施例提供了基于多视角图像采集的商品推荐处理方法及装置，其中，一种基于多视角图像采集的商品推荐处理方法包括：获取门店对应的采集视角的摄像头群组采集的视频流集合，以及所述门店内货架对应的采集视角的摄像头采集的视频流；根据所述视频流集合中的图像帧确定所述摄像头群组的视角交集区域内的用户移动轨迹，并根据所述视频流中的图像帧确定商品关注信息；基于所述用户移动轨迹和所述商品关注信息至少一者，向所述门店或者目标商家进行商品推荐处理。CN115049964ACN115049964A权利要求书1/3页1.一种基于多视角图像采集的商品推荐处理方法，包括：获取门店对应的采集视角的摄像头群组采集的视频流集合，以及所述门店内货架对应的采集视角的摄像头采集的视频流；根据所述视频流集合中的图像帧确定所述摄像头群组的视角交集区域内的用户移动轨迹，并根据所述视频流中的图像帧确定商品关注信息；基于所述用户移动轨迹和所述商品关注信息至少一者，向所述门店或者目标商家进行商品推荐处理。2.根据权利要求1所述的基于多视角图像采集的商品推荐处理方法，所述根据所述视频流集合中的图像帧确定所述摄像头群组的视角交集区域内的用户移动轨迹，包括：对所述视频流集合中各视频流的图像帧进行识别处理，获得各视频流的图像帧中的用户标识；基于所述用户标识确定所述视角交集区域内的目标用户标识，并确定所述目标用户标识的位置坐标；基于所述位置坐标，确定所述目标用户标识对应的用户移动轨迹。3.根据权利要求2所述的基于多视角图像采集的商品推荐处理方法，所述对所述视频流集合中各视频流的图像帧进行识别处理，获得各视频流的图像帧中的用户标识，包括：对所述各视频流的图像帧进行人体检测，获得所述各视频流的图像帧中的用户对象；对所述各视频流的图像帧中的用户对象进行用户重识别，获得所述用户对象的用户标识。4.根据权利要求3所述的基于多视角图像采集的商品推荐处理方法，所述确定所述目标用户标识的位置坐标，包括：将所述目标用户标识在对应图像帧中的图像位置坐标，映射至所述视角交集区域对应的坐标系中，获得所述目标用户标识的位置坐标。5.根据权利要求1所述的基于多视角图像采集的商品推荐处理方法，所述根据所述视频流中的图像帧确定商品关注信息，包括：对比所述视频流中预设时间间隔的关联图像帧，获得所述关联图像帧中差异特征对应的图像特征块；基于所述图像特征块，确定用户行为信息以及与所述图像特征块具有对应关系的商品标识，将所述商品标识和所述用户行为信息确定为所述商品关注信息。6.根据权利要求5所述的基于多视角图像采集的商品推荐处理方法，所述对应关系，采用如下方式建立：对所述关联图像帧进行商品检测处理，获得所述关联图像帧中各商品的商品标识；建立所述各商品的商品标识与所述关联图像帧的图像特征块的对应关系；或者，对所述图像特征块进行商品检测处理，获得与所述图像特征块具有对应关系的商品标识。7.根据权利要求5所述的基于多视角图像采集的商品推荐处理方法，所述用户行为信息，采用如下方式确定：若所述图像特征块中后一时间点的图像特征块中商品数量小于前一时间点的图像特2CN115049964A权利要求书2/3页征块中商品数量，确定所述用户行为信息为取货动作信息；若所述图像特征块中后一时间点的图像特征块中商品数量大于前一时间点的图像特征块中商品数量，确定所述用户行为信息为放货动作信息。8.根据权利要求5所述的基于多视角图像采集的商品推荐处理方法，所述用户行为信息，采用如下方式确定：将所述图像特征块输入动作检测模型进行动作检测，输出目标商品的商品处理动作作为所述用户行为信息。9.根据权利要求1所述的基于多视角图像采集的商品推荐处理方法，还包括：对所述视频流集合中的图像帧和所述视频流中的图像帧进行用户重识别，获得图像帧中的用户标识；基于所述用户标识和所述商品关注信息，对所述用户移动轨迹进行目标商品的商品标识标记。10.根据权利要求9所述的基于多视角图像采集的商品推荐处理方法，还包括：基于