预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共27页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115759604A(43)申请公布日2023.03.07(21)申请号202211397926.X(22)申请日2022.11.09(71)申请人贵州大学地址550025贵州省贵阳市花溪区花溪大道南段2708号(72)发明人张靖罗文健严儒井古庭赟李博文范璐钦何宇胡克林(74)专利代理机构北京东方盛凡知识产权代理有限公司11562专利代理师菅士腾(51)Int.Cl.G06Q10/0631(2023.01)G06Q50/06(2012.01)G06N3/04(2023.01)G06N3/096(2023.01)权利要求书1页说明书15页附图10页(54)发明名称一种综合能源系统优化调度方法(57)摘要本发明公开了一种综合能源系统优化调度方法,本发明属于算法优化调度技术领域,包括:构建综合能源系统,基于所述综合能源系统和强化学习算法,得到调度模型,其中所述调度模型包括智能体和环境;基于优势学习,对强化学习算法中Q值函数进行修正,得到综合算法,基于所述综合算法对所述智能体进行训练,得到优化调度策略。本发明利用优势学习值函数理论框架结合SAC算法,并加以改进,以低碳和经济为目标实现综合能源系统的优化调度。CN115759604ACN115759604A权利要求书1/1页1.一种综合能源系统优化调度方法,其特征在于,包括以下步骤:构建综合能源系统,其中所述综合能源系统通过并网运行若干个设备模型,基于所述综合能源系统和强化学习算法,得到调度模型,其中所述调度模型包括智能体和环境;基于优势学习,对强化学习算法中Q值函数进行修正,得到综合算法,基于所述综合算法对所述智能体进行训练,得到优化调度策略。2.根据权利要求1所述的综合能源系统优化调度方法,其特征在于,所述设备模型包括:氢储能模型、电储能模型、热电联产模型、电热锅炉模型、燃气锅炉模型和换热装置模型。3.根据权利要求1所述的综合能源系统优化调度方法,其特征在于,得到调度模型的过程包括:获取所述综合能源系统中的约束平衡,基于所述约束平衡,通过强化学习算法构建调度模型,其中所述约束平衡包括:电网平衡、热网平衡和气网平衡。4.根据权利要求1所述的综合能源系统优化调度方法,其特征在于,所述强化学习算法包括:算法迭代和算法参数更新。5.根据权利要求4所述的综合能源系统优化调度方法,其特征在于,得到综合算法的过程包括:获取算法迭代中Q值网络损失函数,计算所述损失函数的下降速率,基于所述下降速率,对启动优势学习进行判断,基于判断结果,对强化学习算法中Q值函数进行修正,最后得到综合算法。6.根据权利要求1所述的综合能源系统优化调度方法,其特征在于,所述Q值函数为t时刻综合能源系统中状态参数和动作参数之间的函数。7.根据权利要求1所述的综合能源系统优化调度方法,其特征在于,还包括将所述综合算法与迁移学习结合的过程:基于综合算法,得到调度知识,将所述调度知识迁移至目标任务中;基于迁移结果对所述调度策略进行微调,得到优化调度策略。8.根据权利要求7所述的综合能源系统优化调度方法,其特征在于,将所述调度知识迁移至目标任务中的过程包括:基于所述调度知识,对深度神经网络进行参数迁移,同时通过k均值聚类算法对目标任务的环境进行判断,基于判断结果将所述调度知识迁移至目标任务中。2CN115759604A说明书1/15页一种综合能源系统优化调度方法技术领域[0001]本发明属于算法优化调度技术领域,特别是涉及一种综合能源系统优化调度方法。背景技术[0002]综合能源系统作为新兴的能源管理模式,旨在利用先进的通信和控制技术实现多种能源的高效应用,有利于提高能源利用效率、提升可再生能源消费比重。[0003]现有技术中,针对综合能源系统的优化调度,多采用深度强化学习(deepreinforce‑mentlearning,DRL)作为处理序列决策问题的有效手段,但在综合能源系统的优化调度中,基于策略梯度的DRL优化调度存在两个困难:一是过估计问题,算法的贪婪思想会将一些非最优动作对应的Q值估计过高,扰乱调度策略生成,导致在新环境中进行了错误的判断,泛化能力降低。二是算法训练时收敛速度较慢。智能体需要获得更多新场景中的数据样本来完善它的调度策略,但每次改善策略时都需要重新采集样本,因此样本利用效率低,降低了智能体的学习效率,且随着新的训练样本的加入,DRL的收敛速度会更慢。发明内容[0004]本发明的目的是提供一种综合能源系统优化调度方法,以解决上述现有技术存在的过估计和训练时收敛速度较慢的问题。[0005]为实现上述目的,本发明提供了一种综合能源系统优化调度方法,包括:[0006]构建综合能源系统,基于所述综合能源系统和强化学习算法,得到调度模型,其中所述调度模型