一种基于跟踪视觉识别算法的机械臂智能控制方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115056223A(43)申请公布日2022.09.16(21)申请号202210680349.9(22)申请日2022.06.15(71)申请人谙迈科技（宁波）有限公司地址315043浙江省宁波市鄞州区潘火街道宁创科技中心1号2901-1室(72)发明人徐涛雷超韩军功范振坤黄焯旭程王婧(74)专利代理机构嘉兴启帆专利代理事务所(普通合伙)33253专利代理师林鸳(51)Int.Cl.B25J9/16(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于跟踪视觉识别算法的机械臂智能控制方法(57)摘要本发明公开了一种基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂及控制机械臂运动的控制系统，所述机械臂上设有图像获取单元和距离检测单元，控制系统包括图像识别单元；图像获取单元用于实时获取喂食对象的状态图像，将状态图像发送至图像识别单元，图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食。本发明可有效解决多对象遮挡问题，避免在遮挡情况下进行喂食，利用机器视觉来控制机械臂运动，大大增强了喂食的灵活性，能跟踪判定被用户的状态从而合理投喂。CN115056223ACN115056223A权利要求书1/2页1.一种基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂、控制机械臂运动的控制系统以及操作界面，其特征在于：所述机械臂上设有图像获取单元和距离检测单元，控制系统包括图像识别单元；图像获取单元用于实时获取喂食对象的状态图像，将状态图像发送至图像识别单元，图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食；具体包括以下步骤：1)事先将用户面部特征信息录入数据库中，将获取到的图像信息与数据库中的用户面部特征信息进行比对，确认获取的图像信息中的用户身份；2)利用卡尔曼滤波器对图像中的用户动作进行预测分析，通过两组相似度不同的动作数据融合为一个确定靠谱的动作预测值，即分配问题将卡尔曼滤波器的预测映射到新到达的测量值Z1，利用匈牙利算法来关联逐个图像数据；3)利用距离检测单元来检测用户所在检测点与机械臂之间的距离值；4)构建神经网络模型来训练分析用户的特定动作，张嘴或摇头；5)控制系统的控制逻辑为：①检测点与机械臂之间的距离值小于等于预设距离值，未捕捉到用户的特定动作，判断用户被遮挡，机械臂不工作；②检测点与机械臂之间的距离值小于等于预设距离值，捕捉到用户的特定动作，张嘴或摇头，判断用户需要喂食或停止喂食，机械臂正常工作或停止工作；③检测点与机械臂之间的距离值大于预设距离值，机械臂不工作。2.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法，其特征在于：当捕获到图像信息后，比对处理动作指令是否与预测值Z1吻合，即置信区间在90％以上且动作延迟信号1.5s以上；同时处理图像数据关联信息得到扫描值Z2，即扫描脸部五官轮廓边界是否重叠来判断面部是否遮挡，获取到的图像信息与数据库中已有的人脸进行比对，相似性大于90％，则判定为正常识别无遮挡，若发现与数据库中的人脸信息轮廓相似比低于90％或扫描不到轮廓信息，则判定有遮挡，此时不进行喂食操作；通过匈牙利算法将预测值Z1与图像信息扫描值Z2进行比对，即Z1≈Z2时判定为正常，误差区间3％以内。3.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法，其特征在于：步骤4)中，神经网络模型为深层信念网络DBN，构建分类器，将识别到的动作信息分为两类，张嘴和摇头；不断训练提高在不同距离下的识别精度与速度，其中张嘴数据集中的参数设置为A，{A1,A2,A3，…，An}；摇头数据集中的参数设置为B，{B1,B2,B3，…，Bn}，参数A与B结合输出一个返回值Z，即A+B＝>Z，不断优化训练Z；其中A与B的数据集是在不同距离下搜集的，通过深层信念网络DBN进行迭代，选出最优距离值。4.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法，其特征在于：所述图像获取单元为摄像头，距离检测单元为距离传感器。5.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法，其特征在于：步骤1)中，当获取的图像信息中存在单个用户时，比对数据库中的信息判断，该用户是否与提前录入数据库的用户面部特征信息相符，并作出响应；当获取的图像信息存在多个对象时，逐一判断是否与数据库内的用户面部特征信息相符，若获取的图像中存在与数据库内信息不相符的用户，则进行特殊标定，同时自主确认是否添加该用户的面部特征信息，继续根据2CN115056223A权利要求书2/2页设定值依次喂食多个用