基于MCP罚函数的小世界回声状态网络时间序列预测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111832817A(43)申请公布日2020.10.27(21)申请号202010640834.4(22)申请日2020.07.06(71)申请人浙江树人学院(浙江树人大学)地址312303浙江省绍兴市柯桥区杨汛桥镇江夏路2016号(72)发明人刘半藤陈唯王章权陈友荣(74)专利代理机构绍兴市寅越专利代理事务所(普通合伙)33285代理人邓爱民(51)Int.Cl.G06Q10/04(2012.01)G06N3/00(2006.01)权利要求书3页说明书6页附图4页(54)发明名称基于MCP罚函数的小世界回声状态网络时间序列预测方法(57)摘要本发明公开一种时间序列预测方法，通过在小世界回声状态网络的构建中采用MCP惩罚模型优化小世界回声状态网络的输出权重，解决常规回归方法计算权重时出现的过拟合问题，选择LQA近似分解MCP罚函数，求得模型的近似解，解决MCP罚函数在原点不可导问题，并且提出基于融入交叉和排挤策略的人工蜂群算法优化MCP惩罚模型的超参数，保证优化参数的全局最优性的同时提高收敛有效性，以此提高MCP惩罚模型的有效压缩能力，此方法在非线性时间序列预测中具有较高的应用价值。CN111832817ACN111832817A权利要求书1/3页1.基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：包括以下内容：步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。2.根据权利要求1所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中的小世界回声状态网络构建的具体内容包括：设置小世界回声状态网络规模以及储备池的拓扑结构；输入权重矩阵Win、储备池内部权重矩阵Wx随机生成，确定后训练时不再改变，初始化输出权重矩阵Wout，开始训练获得输出权重初值；小世界回声状态网络的状态方程和输出方程分别为：x(t)＝f(Winu(t)+Wxx(t-1))(1)Ty(t)＝x(t)Wout(2)其中,u(t)、x(t)和y(t)分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f取双曲正切tanh函数；输出权重矩阵Wout在训练时获得，即最小化目标函数对应的Wout值，如公式(3)所示，采用伪逆法获得，如公式(4)所示：2Wout＝argmin||XWout-Y||(3)其中，(X,Y)是训练样本，是X的伪逆。3.根据权利要求2所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤3中最小化添加惩罚项的目标函数对应的Wout估计值如公式(5)所示：MCP罚函数如公式(6)所示：上式中，J表示变量个数，ρλ,γ表示罚函数，γ,λ为可调超参数，θ为参数向量，本发明中2CN111832817A权利要求书2/3页为输出权重Wout。4.根据权利要求3所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中采用局部二次近似算法对MCP罚函数求解具体如下：假设已知，MCP罚函数近似分解如公式(7)所示；式(7)中前两项与Wout无关，可看作常数C，则Wout估计值如公式(8)所示：其中，为输出权重初值，由公式(4)获得，为罚函数的一阶导，D为Wout中非零元素个数；通过对式(8)重复执行Ridge回归解可得输出权重估计如下：5.根据权利要求4所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤3中对MCP惩罚模型的超参数优化方法如下：Step1：初始化参数，设置食物源种群数量为Z，种群最大迭代次数为Q，交叉概率为K，排挤因子为P，排挤数目为Pa，当前迭代次数q＝0，并初始化γ,λ，作为初始食物源，即随机生成一组均匀分布γ和λ可调超参数组合；Step2：输入训练样本，计算训练误差，通过训练误差求出适应度值F：F＝1/ρλ,γ(|θ|)(10)Step3：对每一个食物源附近未知解空间进行搜索，生成新的食物源，即随机在一定范围内生成一个空间扰动向量L，分别针对γ和λ可调超参数在其数值空间附近进行随机方