一种基于多次编码重投影的深度回声状态网络模型构建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108229661A(43)申请公布日2018.06.29(21)申请号201810004116.0(22)申请日2018.01.03(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人马千里沈礼锋(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.G06N3/04(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于多次编码重投影的深度回声状态网络模型构建方法(57)摘要本发明公开了一种基于多次编码重投影的深度回声状态网络模型构建方法，该网络模型通过交替地使用无监督编码技术和储备池高维投影技术实现对带有多尺度结构特性的时间序列进行高效建模。当一个输入时间序列被投影到储备池的高维回声状态空间中时，编码层能够将高维回声状态表示信息编码到一个低维的空间，随后将其作为输入投影到下一个储备池，反复循环。通过在层次化框架中交替使用投影层和编码层，基于编码重投影的深度回声状态网络不仅能够充分利用传统回声状态网络中的时序核特性去探索时间序列的多尺度动态特征，还能在混沌系统的时间序列预测中表现出更优的性能，并保留了传统储备池计算架构中学习高效的特点。CN108229661ACN108229661A权利要求书1/2页1.一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，在层次化回声状态网络中引入多重的投影层与编码层，对输入时间序列进行高维投影及低维映射交替循环操作，实现对多尺度动态系统中时间序列的精准预测及多尺度动态特征的捕捉，所述的构建方法包括下列步骤：S1、网络初始化，确定储备池的层数K，K>1及初始化储备池的内部参数，内部参数包括储备池规模N，稀疏度α，谱半径SR、输入尺度IS以及遗忘率γ，根据内部参数生成投影矩阵和储备池内部递归矩阵，选取一种非监督的降维编码器并设置编码器的编码器维度；S2、信号输入，输入初始信号u，令Ui＝u，其中，Ui表示第i层储备池的输入信号，当i＝1时即为初始信号；S3、状态更新，将Ui作为输入信号输入到第i层储备池中，实现将Ui投影到高维的回声状态空间中，得到输出信号在i层储备池中的所有时刻上的回声状态S4、循环条件判断，如果i＜K，K为储备池的层数，进入步骤S5，否则，进入步骤S7；S5、降维编码，将第i号储备池中的回声状态作为第i层编码器的输入信息，进行降维压缩，得到编码器的特征表示其中，表示紧随第i层储备池之后编码器的特征表示；S6、循环操作，令作为下一个储备池的输入信息，即令第i层储备池的输入信号i＝i+1；返回步骤S2；S7、模型求解，将直接连接信息u、编码器的特征表示i＝1,2,...,K-1及输出层的信息收集到矩阵M中，并通过线性回归技术学习相应的连接权值，将教师信号收集至矩阵T中，通过引入Tikhonov正则化项，构建岭回归问题实现对深度编码回声状态网络模型最优权重矩阵Wout的求解。2.根据权利要求1所述的一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，所述的非监督的降维编码器采用主成分分析法对储备池中回声状态进行压缩编码，并将每个编码层的特征表示连接到输出层，实现对时间序列多尺度动态特征的捕捉。3.根据权利要求1所述的一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，所述的步骤S3过程如下：将作为第t+1时刻输入信号输入到第i层储备池中，实现将投影到高维的回声状态空间中，得到第t+1时刻在i层储备池中的回声状态即其中，表示第i号储备池在第t+1时刻的输入，当i＝1时，f为激活函数，取为正切函数tan(·)，其中u(t+1)为步骤S2中输入的初始信号。4.根据权利要求3所述的一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，所述的步骤S5过程如下：将第i层储备池中的回声状态作为第i层编码器在第t+1时刻的输入信息，进行降维压缩，得到编码器的特征表示2CN108229661A权利要求书2/2页其中，表示紧随第i层储备池之后编码器在第t+1时刻的特征表示，fenc(·)是编码器的激活函数。5.根据权利要求4所述的一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，所述的步骤S6过程如下：循环操作，令作为下一个储备池的输入信息，即令i＝i+1，返回步骤S2。6.根据权利要求5所述的一种基于多次编码重投影的深度回声状态网络模型构建方法，其特征在于，所述的步骤S7过程如下：令输出第t+1时刻深度编码回声状态网络的预测值y(t+1)＝fout(WoutM(t+1))(5)即Y＝fout(WoutM)(6)根据整个系统的平方误差损失最小化，采用Tikhono