基于回声状态网络分类的卷积神经网络算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110119805A(43)申请公布日2019.08.13(21)申请号201910387770.9(22)申请日2019.05.10(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人夏亦犁王新裴文江(74)专利代理机构南京众联专利代理有限公司32206代理人蒋昱(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书6页附图2页(54)发明名称基于回声状态网络分类的卷积神经网络算法(57)摘要本发明提供基于回声状态网络分类的卷积神经网络算法，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。通过在MNIST手写数字识别数据集、FashionMNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能。CN110119805ACN110119805A权利要求书1/3页1.基于回声状态网络分类的卷积神经网络算法，其特征在于：所述基于回声状态网络分类的卷积神经网络算法包含卷积层、池化层和ESN层三种结构，所述模型的前向传播算法和反向传播算法的给出如下；E-CNN的前向传播算法：E-CNN的前向传播算法按照该隐藏层的类型可分为以下三种情况：(1)该隐藏层是卷积层的情况；设第l层是卷积层，则l的取值范围是l＝2,3,...,L-1，其中第L层表示网络的输出层，n,l表示第l层的第i个输入图片或特征图，共有I个图片或特征图，aj表示第l层的第j个n,ll输出特征图，共有K个输出特征图；Wij表示向aj映射的卷积矩阵，bj表示为该过程的偏置，则该卷积层的运算过程可表示为:其中，“*”表示第l层的卷积核与第l-1层各个输出特征图进行不补零卷积操作；σ(·)表示该隐藏层的激活函数；(2)该隐藏层是池化层的情况：设第l层是池化，该层池化矩阵的大小为k×k；该层的一个输入及其对应输出分别表示为an,l-1、an,l，则池化操作的表达式如(2)所示；其中，down(·)表示下采样函数；(3)该隐藏层是ESN层的情况：首先将ESN层可以转化为一个包含两个隐藏层的网络结构，其an,L-1(t+1)表示t+1时刻ESN的第n个输入；hn(t)表示与an,L-1(t)对应的储备池状态向量；an,L-1(t+1)与hn(t)分别经nnn,L-1过Win、WR两个权重的处理输出为h(t+1)；h(t+1)表示与aa(t+1)对应的储备池状态向量，设aan,L-1(t+1)＝hn(t+1)＝f(zzn,L-1(t+1))为一个中间输出变量，t+1时刻第n个储备池状态向量表示为：其中，Win、WR分别表示储备池输入矩阵、储备池矩阵；f(·)表示储备池激活函数，这里n,L-1取tanh，t+1时刻第L层第n个输出可表示为：aa(t+1)经输出权值Wout加权后，再经过一个激活函数σ(·)处理后的输出向量，即2CN110119805A权利要求书2/3页E-CNN的反向传播算法：E-CNN模型的训练规则是：对ESN的输出权重更新采用线性回归算法，而对卷积层的权重更新仍采用基于梯度下降的BP算法；设与t+1时刻E-CNN网络的输出aL(t+1)＝[a1,L(t+1),...,an,L(t+1),...,aN,L(t+1)]对应的教师信号为y(t+1)＝[y1(t+1),...,yn(t+1),...,yN(t+1)]，采用网络实际输出与理想输出的均方误差作为网络训练的损失函数：其中，||·||2表示对“·”取L2范数；W表示CNN各隐藏层的权重，b表示对应隐藏层的偏置；(1)第L层的残差表达式为：(2)中间变量δδn,L-1(t+1)表达式：定义中间变量的残差为：推导出中间变量表达式为：其中，f′(·)表示对f(·)求导，表示储备池激活函数；“⊙”表示Hadamard积，对于两个TT维度相同的向量A＝(a1,a2,...,an)和B＝(b1,b2,...,bn)，则有A⊙B＝(a1b1,a2b2,...,Tanbn)；σ′(·)表示对σ(·)函数求导；(3)δn,L-1(t+1)的表达式：其中，σ′(·)表示对σ(·)求导，这里的σ(·)函数是第L-1层的输出激活函数；(4)对于l＝L-2～2的情况，残差δl(t+1)的表示表达式可以分为两种情况：a)当第l层是卷积层时，其残差公式可以表示为：3CN110119805A权利要求书3