基于深度强化学习的机械臂旋拧阀门的自适应方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110053053A(43)申请公布日2019.07.26(21)申请号201910513350.0(22)申请日2019.06.14(71)申请人西南科技大学地址621010四川省绵阳市涪城区青龙大道中段59号(72)发明人刘满禄李新茂张华张静周建张敦凤周祺杰(74)专利代理机构成都正华专利代理事务所(普通合伙)51229代理人李蕊(51)Int.Cl.B25J9/16(2006.01)权利要求书3页说明书6页附图6页(54)发明名称基于深度强化学习的机械臂旋拧阀门的自适应方法(57)摘要本发明公开了一种基于深度强化学习的机械臂旋拧阀门的自适应方法，属于机器学习领域。该自适应方法包括：S1、在阀门的手轮上设置一标签；并使其上设置有弹性垫块的夹持器在靠近标签的位置夹持阀门手轮，所述夹持器安装在机械臂上；S2、根获取夹持器中心位置P0；S3、获取标签中心位置Ft；S4、将夹持器中心位置P0和标签中心位置Ft输入阀门旋拧操作模型获得所述机械臂和夹持器执行动作的指令；S5、根据所述指令控制机械臂和夹持器动作；S6、动作结束后，根据所述上位机更新夹持器中心位置P0，并以此判断夹持器中心是否到达标签中心位置Ft，若是，执行步骤S7，若否，返回步骤S4；S7、判断是否完成旋拧任务，若否，返回步骤S3。CN110053053ACN110053053A权利要求书1/3页1.基于深度强化学习的机械臂旋拧阀门的自适应方法，其特征在于，包括：S1、在阀门的手轮上设置一标签(5)；并使其上设置有弹性垫块(2)的夹持器(3)在靠近标签(5)的位置夹持阀门手轮(1)，所述夹持器(3)安装在机械臂上；S2、根据与所述机械臂连接的上位机获取夹持器中心位置(4)P0；S3、通过所述夹持器(3)上安装的相机对位于标签(5)附近的阀门表面形貌特性进行提取，并根据所述表面形貌特征获取标签中心位置Ft；S4、将夹持器中心位置(4)P0和标签中心位置Ft输入阀门旋拧操作模型获得所述机械臂和夹持器(3)执行动作的指令，所述阀门旋拧操作模型是基于深度强化学习算法建模训练得到的；S5、根据所述指令控制机械臂和夹持器(3)动作；S6、动作结束后，根据所述上位机更新夹持器中心位置(4)P0，并以此判断夹持器(3)中心是否到达步骤S2中获得的标签中心位置Ft，若是，执行步骤S7，若否，返回步骤S4；S7、判断是否完成旋拧任务，若否，返回步骤S3。2.根据权利要求1所述的自适应方法，其特征在于，步骤S5中，所述建模训练为利用马尔科夫决策过程对阀门旋拧最优策略问题建模并计算最优解。3.根据权利要求1所述的自适应方法，其特征在于，步骤S7中，通过下列方法判断是否完成所述旋拧任务：通过夹持器(3)起始中心位置P0和夹持器(3)当前中心位置P0计算夹持器中心位置(4)运行轨迹的第一圆心角，并将所述第一圆心角与上位机内部预设的第二圆心角进行比较，所述第一圆心角大于第二圆心角则判断完成所述旋拧任务。4.根据权利要求1-3任一所述的自适应方法，其特征在于，步骤S4中，所述建模训练包括：S401、在阀门的手轮上设置一标签(5)，并使其上设置有弹性垫块(2)的夹持器(3)在标签(5)附近夹持住阀门手轮(1)，所述夹持器(3)安装在机械臂上；S402、根据与所述机械臂连接的上位机获取夹持器中心位置(4)P0；S403、通过夹持器(3)上安装的相机对位于标签(5)附近的阀门表面形貌特性进行提取，并根据所述表面形貌特征得到标签中心位置Ft、夹持器中心位置(4)P0与标签中心位置Ft之间的间距D和夹持器(3)与阀门手轮(1)之间的间距L；S404、定义动作空间a，并根据间距D和间距L定义奖惩函数r，根据奖惩函数r和间距D定义状态空间Si；S405、根据动作空间a、奖惩函数r和状态空间Si，并基于深度确定性策略梯度算法建立深度强化学习的神经网络，并对所述神经网络进行训练得到阀门旋拧操作模型。5.根据权利要求4所述的自适应方法，其特征在于，步骤S403中，所述间距D通过以下计算方法得到：其中，xf和yf为标签中心位置Ft的横纵坐标，xp和yp为夹持器中心位置(4)P0的横纵坐标。6.根据权利要求4所述的自适应方法，其特征在于，步骤S405中，所述神经网络包括行2CN110053053A权利要求书2/3页为网络和目标网络，所述行为网络包括策略网络μ和价值网络Q，所述目标网络包括策略网络μ'和价值网络Q'。7.根据权利要求6所述的自适应方法，其特征在于，步骤S404中，所述状态空间Si通过以下方法得到：Si＝{D,Dbool,L,Lbool},i＝1,2,3,...其中，D为夹持器中心位置(4)P0与标签中心位置Ft之间的间距，Dbool表