一种食材存取的识别方法及冰箱.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115223069A(43)申请公布日2022.10.21(21)申请号202110411693.3(22)申请日2021.04.16(71)申请人海信集团控股股份有限公司地址266555山东省青岛市经济技术开发区前湾港路218号(72)发明人陆书轩高语函陈维强高雪松曲磊(74)专利代理机构北京同达信恒知识产权代理有限公司11291专利代理师望紫薇(51)Int.Cl.G06V20/40(2022.01)G06V10/25(2022.01)G06V20/68(2022.01)权利要求书2页说明书13页附图2页(54)发明名称一种食材存取的识别方法及冰箱(57)摘要本申请公开一种食材存取的识别方法及冰箱，包括：获取设置于冰箱内的运动相机采集的第一视频流；所述第一视频流是所述运动相机在检测到冰箱门被打开后进行采集的；根据所述第一视频流确定运动物体的运动趋势；根据所述运动趋势，确定所述运动相机的第一采集角度；控制所述运动相机按照所述第一采集角度进行旋转后，获取所述运动相机采集的第二视频流；根据所述第二视频流进行食材存取识别。该方式在对运动相机采集的第一视频流进行分析后，可控制相机旋转合适的角度，并基于相机在新的采集角度下所采集的视频流而对冰箱全空间食材存取进行精准识别，而避免了背景技术中固定安装方式的相机在动态识别过程中存在的视野盲区问题。CN115223069ACN115223069A权利要求书1/2页1.一种食材存取的识别方法，其特征在于，包括：获取设置于冰箱内的运动相机采集的第一视频流；所述第一视频流是所述运动相机在检测到冰箱门被打开后进行采集的；根据所述第一视频流确定运动物体的运动趋势；根据所述运动趋势，确定所述运动相机的第一采集角度；控制所述运动相机按照所述第一采集角度进行旋转后，获取所述运动相机采集的第二视频流；根据所述第二视频流进行食材存取识别。2.如权利要求1所述的方法，其特征在于，所述获取设置于冰箱内的运动相机采集的第一视频流之前，还包括：确定所述冰箱门的开门状态；根据所述开门状态，确定所述运动相机的第二采集角度；控制所述运动相机按照所述第二采集角度进行旋转；所述第一视频流是按照所述第二采集角度进行采集的。3.如权利要求1所述的方法，其特征在于，所述根据所述第一视频流确定运动物体的运动趋势，包括：针对第一视频帧中的任一特征点，若所述特征点在第二视频帧中存在匹配特征点，则确定所述特征点的帧间运动趋势向量；所述第二视频帧是所述第一视频流中、位于所述第一视频帧之后的相邻视频帧；根据各特征点的帧间运动趋势向量，确定所述第一视频帧到所述第二视频帧的平均帧间运动趋势向量；根据所述第一视频流中各相邻视频帧之间的平均帧间运动趋势向量确定所述第一视频流的平均运动趋势向量，并将所述平均运动趋势向量作为运动物体的运动趋势。4.如权利要求1所述的方法，其特征在于，所述根据所述运动趋势，确定所述运动相机的第一采集角度，包括：确定所述运动相机的相机坐标系到世界坐标系的转换矩阵；根据所述转换矩阵，确定所述运动相机的光轴在所述世界坐标系下的第一坐标；根据所述运动趋势在所述世界坐标系下的第二坐标和所述第一坐标，确定所述运动相机的第一采集角度。5.如权利要求1至4任一项所述的方法，其特征在于，所述根据所述第二视频流进行食材存取识别，包括：从所述第二视频流中确定感兴趣区域；所述感兴趣区域为用户用于存取食材的手部；根据所述感兴趣区域，确定用户对食材的存取动作；对所述感兴趣区域进行食材种类的识别，确定用户存取的食材种类。6.如权利要求5所述的方法，其特征在于，所述从所述第二视频流中确定感兴趣区域，包括：针对所述第二视频流中任意相邻的两帧视频帧，确定特征点在所述两帧视频帧间的运动位移是否满足第一设定阈值；确定满足所述第一设定阈值的第一特征点的中心点；2CN115223069A权利要求书2/2页将与所述中心点的距离满足第二设定阈值的第一特征点作为第二特征点，并将所述第二特征点所在区域作为所述感兴趣区域。7.如权利要求5所述的方法，其特征在于，所述根据所述感兴趣区域，确定用户对食材的存取动作，包括：根据所述第二视频流中设定时长的视频帧，确定所述感兴趣区域在所述设定时长内的运动趋势；根据所述设定时长内的运动趋势与所述运动相机的光轴之间的关系，确定用户对食材的存取动作。8.如权利要求7所述的方法，其特征在于，所述确定用户对食材的存取动作之后，还包括：根据所述存取动作对应的运动趋势所指向的区域，确定所述存取动作在所述冰箱内的操作位置。9.一种冰箱，其特征在于，包括：运动相机，设置于所述冰箱内，用于在检测到冰箱门被打开后采集第一视频流；控制器，被配置为：获取所述第一视频流；根据所述第一视频流确定运动物体的运