一种基于轻量级梯度提升算法预测电价的系统模型.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111507777A(43)申请公布日2020.08.07(21)申请号202010386436.4(22)申请日2020.05.09(71)申请人上海积成能源科技有限公司地址200439上海市宝山区高逸路80号6层(72)发明人胡炳谦顾一峰周浩韩俊(51)Int.Cl.G06Q30/02(2012.01)G06Q50/06(2012.01)G06N20/20(2019.01)权利要求书3页说明书3页附图2页(54)发明名称一种基于轻量级梯度提升算法预测电价的系统模型(57)摘要随着新一轮电力市场改革的持续推进,电价作为反映市场运营状况的重要指标,准确预测电价能够帮助电力市场博弈方进行风险规避,达到经济收益最大化。梯度提升决策树是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。该方法不仅在工业界应用广泛，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。本发明采用了一种基于轻量级梯度提升算法来预测节点电价，可以极大的提高预测准确度。CN111507777ACN111507777A权利要求书1/3页1.本发明提出的一种基于轻量级梯度提升算法LightGBM(LightGradientBoostingMethod)预测电价的系统模型，其特征在于，包括：通过测量或取得历史数据的方式，获得该区域的小时级历史气温,工作日,节假日,小时参数,月参数,年参数,历史用电负荷,包括同一时段上一周的负荷,同一时段昨天的负荷，前二十四小时的平均负荷，以及历史节点电价,包括同一时段上一周的电价，同一时段昨天的电价，前二十四小时的平均电价，前一天的峰值电价,上一周的峰值电价，样本电力价格曲线图如图2所示；2)由于可能存在的人为误差,我们对于从训练集中删除了异常数据，比如：由于极端高温或极端低温导致的峰值电价,大面积输电堵塞导致的峰值电价等；由于该类数据的出现概率很小,我们采用异常分析的办法,剔除掉1%概率最小的数据；异常分析公式如下:a.首先计算出每一组数据的多元正态分布：其中,为数据,为平均值,为协方差；b.当,则删除掉该值；3)采用轻量级梯度提升算法训练模型,具体步骤如下：a.输入数据：；b.,为第i个样本的预测值,为第k个树模型；预测值由k个树模型的和组成，损失函数：,其中样本数量；所以目标函数为:；为模型的正则项，用来确保模型训练不会过拟合；c.由于第t个树模型的预测值:，所以目标函数可以转化为：；d.为了求解该目标函数,我们采用泰勒公式:原问题转化成:为对的一阶导数,为对的二阶导数；由于在第t个树模型时,已经是一个已知值,所以是一个常数,目标函2CN111507777A权利要求书2/3页数最终简化为:；e.为了确保生成的树模型们不会导致过拟合,目标函数的正则项我们定义为：其中和为人为输入控制值,根据不同的训练数据而改变；T为叶子数,为权重值，也就是说,我们希望目标函数越小,同时叶子数越少越好；f.由于在实际的应用中,数据量大,特征值多，为了提高算法的效率,减少运算时间，首先在每一个生成树模型时,并不通过穷举法找到最优切入点，而是采用贪心算法：i.从深度为0的树开始，对每个叶节点枚举所有的可用特征；ii.针对每个特征，把属于该节点的训练样本根据该特征值进行升序排列，通过线性扫描的方式来决定该特征的最佳分裂点，并记录该特征的分裂收益；iii.选择收益最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，在该节点上分裂出左右两个新的叶节点，并为每个新节点关联对应的样本集iv.回到第1步，递归执行到满足特定条件为止g.在每一个树模型生成时的梯度下降时，采用单边梯度抽样算法；在树模型算法的梯度大小可以反应样本的权重，梯度越小说明模型拟合的越好，单边梯度抽样算法利用这一信息对样本进行抽样，减少了大量梯度小的样本，在接下来的计算过程中只需关注梯度高的样本，极大的减少了计算量；单边梯度抽样算法保留了梯度大的样本，并对梯度小的样本进行随机抽样，为了不改变样本的数据分布，在计算增益时为梯度小的样本引入一个常数进行平衡；h.最后如果对于特征值，我们采用互斥特征捆绑算法，由于高维特征往往是稀疏的，而且特征间可能是相互排斥的（如两个特征不同时取非零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值），可以用互斥率表示互斥程度，互斥特征捆绑算法指出如果将一些特征进行融合绑定，则可以降低特征数量；i.在每一个树模型的生成中，我们采用，逐叶(leaf-wise)策略:每次分类增益最大的叶子节点，直到达停止条件；4)在工程实现中,传统的特