基于数字孪生和强化学习的多智能体协同避碰采摘方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114942633A(43)申请公布日2022.08.26(21)申请号202210457714.X(22)申请日2022.04.28(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人王红军林俊强邹湘军张坡李承恩邹伟锐(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师唐善新(51)Int.Cl.G05D1/02(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图6页(54)发明名称基于数字孪生和强化学习的多智能体协同避碰采摘方法(57)摘要本发明公开了一种基于数字孪生和深度强化学习的多智能体协同避碰采摘方法，包括建立数字果园数据库，构建孪生果园场景；基于马尔可夫决策过程框架对虚拟机器人自主避碰采摘策略问题进行环境建模并搭建仿真系统，设定状态空间和动作空间；基于人工势场法设计奖励函数，结合多智能体分布式近端策略优化算法建立APF‑MADPPO学习模型；建立APF‑MADPPO网络模型及训练流程，设置训练方法；基于迁移学习、推理学习，规划出最优采摘路径，通过控制指令驱动真实机器人在错综复杂的环境下完成自动避碰采摘任务。本发明可以实现在实时变化环境下，多智能体能够协同作业且自主避碰，进而完成自动采摘任务。CN114942633ACN114942633A权利要求书1/3页1.一种基于数字孪生和深度强化学习的多智能体协同避碰采摘方法，其特征在于包括下述步骤：(1)数据采集系统实时采集真实果园环境信息并传输到云服务器，结合数据分析与挖掘技术和农艺知识建立数字果园数据库；(2)建立云服务器与虚拟仿真平台之间的数据通信，利用云服务器的实时数据驱动虚拟仿真平台中的三维模型进行智能仿真调度，构建孪生果园场景；建立虚拟采摘机器人模型；(3)基于马尔可夫决策过程框架对虚拟机器人自主避碰采摘策略问题进行环境建模并搭建仿真系统，设定状态空间和动作空间；(4)基于人工势场法设计奖励函数，结合多智能体分布式近端策略优化算法建立APF‑MADPPO学习模型；所述奖励函数包括采摘点引导函数、障碍物碰撞惩罚函数、机器人之间的碰撞惩罚函数以及时间惩罚函数；(5)建立APF‑MADPPO网络模型及训练流程；(6)设置训练方法，包括终止条件设置、训练参数配置、训练过程设置以及使用APF‑MADPPO学习模型进行多智能体采摘避碰策略学习训练；(7)基于迁移学习的方法将训练结果模型迁移到动态、非结构化环境下进行采摘避碰路径规划推理学习，规划出一条最优采摘路径；(8)以所述最优采摘路径为参考，通过控制指令驱动真实机器人在错综复杂的环境下完成自动避碰采摘任务。2.根据权利要求1所述的多智能体协同避碰采摘方法，其特征在于：步骤(1)中，所述数据采集系统包括处理器芯片模块、LoRa通信模块、摄像机以及传感器模块，用于采集真实果园实时状态信息；所述的传感器模块包括空气温湿度传感器、土壤水分传感器、土壤酸碱度传感器、二氧化碳浓度传感器和光照强度传感器；所述云服务器包括对真实果园实时数据获取以及对数据库进行数据查询和客户端的响应与反馈；所述数据库包括数字果园运行状态数据存储。3.根据权利要求1所述的多智能体协同避碰采摘方法，其特征在于：步骤(2)中，所述构建孪生果园场景是指根据真实果园场景信息，设定相关状态参数，所述状态参数与数字孪生果园的模型属性相对应匹配，通过获取服务器端的响应信号，利用协程机制将实时数据传输到仿真环境中并采用智能仿真调度算法驱动虚拟平台各模型构建孪生果园场景。4.根据权利要求1所述的多智能体协同避碰采摘方法，其特征在于：是对复杂动态的野外环境下多智能体协同避碰采摘策略问题进行环境建模，使用马尔科夫决策过程描述智能体与环境交互的随机决策过程；所述随机决策过程定义为四元组(St，At，Rt，St+1)，具体包括：St：为t时刻智能体所处的状态，构成系统状态空间；At：为t时刻智能体所采取的动作，构成系统的动作空间；Rt：为t时刻智能体所获得的奖励值，构成系统的奖励函数；St+1：为t+1时刻智能体所处的状态。5.根据权利要求1所述的多智能体协同避碰采摘方法，其特征在于：步骤(4)中，所述APF‑MADPPO学习模型，包括状态空间、动作空间和奖励函数设计；所述状态空间包括机器人2CN114942633A权利要求书2/3页末端执行器空间位置采摘点空间位置Pgoal、障碍物空间位置Pobs、机器人末端执行器与采摘点的相对位置机器人各个转动轴的中心点与障碍物的相对位置机器人末端执行器与采摘点的距离机器人各个转动轴的中心点与障碍物的距离机器人之间各个转动轴的距离记为其中i表示为智能体即采摘机器人个数