基于深度强化学习的AGV悬挂系统弹性调节方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108973578A(43)申请公布日2018.12.11(21)申请号201810814740.7(22)申请日2018.07.23(71)申请人浙江大学滨海产业技术研究院地址300345天津市滨海新区滨海科技园高新六路39号9-3-3-1申请人天津迦自机器人科技有限公司(72)发明人赵永生孙光煜章逸丰曹慧赟陈福隆翁芳(74)专利代理机构天津滨海科纬知识产权代理有限公司12211代理人杨慧玲(51)Int.Cl.B60G17/018(2006.01)权利要求书2页说明书7页附图2页(54)发明名称基于深度强化学习的AGV悬挂系统弹性调节方法(57)摘要本发明公开了一种基于深度强化学习的AGV悬挂系统弹性调节方法，AGV小车车轮底板上分别安装若干由电机控制弹性可调的弹性单元；采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)；判断是否需要调整等效弹性系数：当收到需要电机介入控制的信号后，通过神经网络算法开始计算调整动作；通过算法处理，控制电机，调整丝杆上滑块的位置，从而控制弹簧压缩量。本发明采用深度确定性策略梯度算法学习弹性组合单元的等效弹性系数自适应变化控制规律，以神经网络为载体，根据传感器对当前弹性单元软硬度的感知，自动计算各个弹簧丝杆电机的输出量，实现弹性单元弹性系数变化的自动控制。CN108973578ACN108973578A权利要求书1/2页1.一种基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，包括：步骤1、AGV小车各车轮底板上都安装由若干弹性可调的弹性单元组成的弹簧组合单元；步骤2、AGV小车开始工作，所有弹性单元均承重，工控机采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)；该曲线周期22该曲线最大正值amax＝Ak/m＝A4π/T；22得出：A＝mamax/k＝amaxT/4π；其中m为小车及载物总质量；k为等效弹性系数；A为小车上下振动振幅；T为加速度曲线周期；amax可直接从曲线a(t)获取数据；步骤3、判断是否需要调整等效弹性系数：步骤4：如需要调整，工控机通过神经网络算法开始计算调整动作；步骤5：根据计算结构，工控机控制电机，调整弹性单元压缩量，从而调整等效弹性系数。2.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤1所述弹性单元包括电机、联轴器、丝杆，滑块、弹簧；所述弹簧上端挂在滑块上，下端与车轮底板连接；所述电机受工控机控制，通过联轴器带动丝杠，控制滑块上下，进而调整弹簧伸缩量。3.根据权利要求1或2所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，所述每个车轮底板的弹性单元通过固定板固定在一起，组成该底板的弹簧组合单元。4.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤2所述IMU数据流由惯性测量单元IMU采集，所述惯性测量单元IMU设置在小车重心位置，与所述工控机通讯连接。5.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤3所述判断方法为：设定加速度曲线周期阈值Tmin和小车上下振动振幅Amax,即T≥Tmin且A＝mamax/k≤Amax；2222步骤301、如果加速度曲线的周期T≥Tmin,且A＝amaxT/4π≤Amax即amax≤Amax4π/T；则说明弹性单元软硬度适中，不需要介入控制；步骤302、当加速度曲线的周期T＜Tmin，说明此时弹性单元刚度过大，此时需要电机介22入控制，降低弹性单元等效弹性系数k，直到周期大于等于Tmin且amax≤Amax4π/T；电机停止工作；步骤303、当小车上下振幅A＞Amax，说明此时弹性单元刚度过小，此时需要电机介入控22制，调大弹性单元等效弹性系数k，直到amax≤Amax4π/T，且周期大于等于Tmin，电机停止工作。6.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤4所述计算调整动作的方法包括：采用深度确定性策略梯度算法学习弹簧组合单元2CN108973578A权利要求书2/2页的等效弹性系数自适应变化控制规律；即采用两个神经网络，一个神经网络作为Actor，输入为系统的状态，输出为系统的动作；另外一个神经网络作为Critic，输入为系统的状态，系统的动作，输出为评估函数。7.根据权利要求6所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，所述计算的具体步骤为：步骤401、定义Actor网络的输入为IMU一段时间内(Δt)的加速度均值μa和方差σa以及当前各个弹簧的位置x1，x2，……，xn，输出为各个弹簧的Δx1，Δx2，……，Δxn；Actor神