基于分支双重深度Q网络的配网实时动态重构方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114282330A(43)申请公布日2022.04.05(21)申请号202111625067.0G06N20/00(2019.01)(22)申请日2021.12.28G06Q50/06(2012.01)G06F113/04(2020.01)(71)申请人山东科技大学地址266590山东省青岛市黄岛区前湾港路579号(72)发明人张玉敏吉兴全尹孜阳张旋于一潇杨子震刘志强朱应业赵国航刘小虎(74)专利代理机构济南圣达知识产权代理有限公司37221代理人闫圣娟(51)Int.Cl.G06F30/18(2020.01)G06F30/27(2020.01)G06N7/00(2006.01)权利要求书2页说明书12页附图8页(54)发明名称基于分支双重深度Q网络的配网实时动态重构方法及系统(57)摘要本公开提出了基于分支双重深度Q网络的配网实时动态重构方法及系统，重构方法，包括如下过程：获取配电网实时节点负荷和分布式电源出力；将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；基于配电网环路分解得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。本公开通过挖掘动态DNR决策变量和决策结果之间的时序动态变化规律，在线应用时无需进行潮流建模和分段决策，且不依赖日前的负荷和分布式电源出力预测，能够大大提高配电网的运行性能。CN114282330ACN114282330A权利要求书1/2页1.基于分支双重深度Q网络的配网实时动态重构方法，其特征是，包括如下过程：获取配电网实时节点负荷和分布式电源出力；将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；基于配电网环路分解改进得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。2.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：将节点负荷和分布式电源出力整合为节点注入功率，将节点注入功率和断开的开关的集合作为马尔可夫决策过程的状态集合。3.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：设置配电网运行成本的倒数为马尔可夫决策过程的即时回报，所述即时回报还包括惩罚项，所述惩罚项用于惩罚不符合系统安全约束的开关动作策略。4.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于配电网环路分解，得到的分支双重深度Q网络的结构为：以配电网中的环路数作为Q学习算法网络的输出维度，每一维度输出向量的维度为所属环路的开关数量。5.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：采用贪婪选择策略选择Q学习算法网络的输出维度中回报最大的开关，作为决策动作开关。6.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：还包括对分支双重深度Q网络训练的步骤，包括如下：获取配电网的历史运行数据，以及配电网的网络结构参数，构建训练集；初始化分支双重深度Q网络的结构和参数，生成初始经验池，开始算法迭代；初始化状态向量，从经验池中采集样本并输入至分支双重深度Q网络；根据采集样本中开关动作集合，计算分支双重深度Q网络的输出以及损失函数，并更新经验池；利用梯度下降法优化分支双重深度Q网络的参数，进行下一轮迭代，直到遍历训练集的数据。7.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：初始经验池的数据采用配电网的历史数据集代替。8.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：更新经验池的方法，遍历到t时刻，步骤如下：DR在分支双重深度Q网络中使用当前时刻的状态St作为输入，采用ε贪婪选择法选择对DR应的开关动作At；DRDRDR在当前状态St执行动作对应At后，进行潮流计算，并计算得出即时回报Rt，并从配电网的节点负荷和DG出力数据集中索引得出下一时刻的状态将获得的这5个元组存入经验池，判断经验池容量是否已达上限，若是，按照经验池数据存储的时间删除最早的数据。2CN114282330A权利要求书2/2页9.基于分支双重深度Q网络的配网实时动态重构系统，其特征是，包括：获取模块：被配置为用于获取配电网实时节点负荷和分布式电源出力；马尔可夫