基于深度学习的多层自动编码方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106934458A(43)申请公布日2017.07.07(21)申请号201511031732.8(22)申请日2015.12.31(71)申请人中国科学院深圳先进技术研究院地址518055广东省深圳市南山区西丽大学城学苑大道1068号(72)发明人王书强李涵雄卢哲曾德威(74)专利代理机构深圳市科进知识产权代理事务所(普通合伙)44316代理人郝明琴(51)Int.Cl.G06N3/08(2006.01)权利要求书1页说明书6页附图2页(54)发明名称基于深度学习的多层自动编码方法及系统(57)摘要本发明涉及一种基于深度学习的多层自动编码方法及系统，结合深度学习原理与张量算法，采用张量的形式对原始数据进行表达，能够在不破坏原始数据结构的前提下，充分挖掘原有信息，并通过多层学习，获得更本质的抽象特征，从而克服采用向量表达的局限性，能较大程度上保留原始数据的结构信息，并且获得更为鲁棒的特征提取与模式学习，利于对原始数据本质的体现，有利于进行后续的模式分类。CN106934458ACN106934458A权利要求书1/1页1.一种基于深度学习的多层自动编码方法，其特征在于，包括如下步骤：S10：设定自动编码器的个数及每一个自动编码器的神经节点数；S20：初始化权值矩阵和阈值；S30：对输入的原始数据进行编码，采用权值矩阵对原始数据进行变换，将原始数据采用张量形式进行表达并根据设定的神经节点数进行压缩编码；S40：对编码后的原始数据进行解码重构，获取重构的原始数据；S50：根据重构的原始数据与原始数据之间定义的最小平方误差函数，更新权值矩阵；S60：利用更新后的权值矩阵对原始数据再次进行编码获得压缩化的特征；S70：利用压缩化的特征通过迭代运算获得最终输出。2.根据权利要求1所述的基于深度学习的多层自动编码方法，其特征在于，所述步骤S10具体为：由用户根据需要，人工设置自动编码器的个数及每一个自动编码器的神经节点数。3.根据权利要求1所述的基于深度学习的多层自动编码方法，其特征在于，所述步骤S40具体为：在将原始数据采用张量形式表达进行编码后，通过学习原始数据的编码方式进行对应的转置运算，对编码后的原始数据进行解码重构，获取重构的原始数据。4.根据权利要求1所述的基于深度学习的多层自动编码方法，其特征在于，所述步骤S50具体为：采用BP算法更新权值矩阵。5.根据权利要求4所述的基于深度学习的多层自动编码方法，其特征在于，所述步骤S50具体为：引入稀疏性限制和KL散度更新权值矩阵。6.一种基于深度学习的多层自动编码系统，其特征在于，包括：设定模块，设定自动编码器的个数及每一个自动编码器的神经节点数；初始化模块，初始化权值矩阵和阈值；编码模块，对输入的原始数据进行编码，采用权值矩阵对原始数据进行变换，将原始数据采用张量形式进行表达并根据设定的神经节点数进行压缩编码；解码模块，对编码后的原始数据进行解码重构，获取重构的原始数据；有监督学习更新模块，根据重构的原始数据与原始数据之间定义的最小平方误差函数，更新权值矩阵；特征提取模块，利用更新后的权值矩阵对原始数据再次进行编码获得压缩化的特征；输出模块，利用压缩化的特征通过迭代运算获得最终输出。7.根据权利要求6所述的基于深度学习的多层自动编码系统，其特征在于，所述设定模块由用户根据需要，人工设置自动编码器的个数及每一个自动编码器的神经节点数。8.根据权利要求6所述的基于深度学习的多层自动编码系统，其特征在于，所述解码模块在将原始数据采用张量形式表达进行编码后，通过学习原始数据的编码方式进行对应的转置运算，对编码后的原始数据进行解码重构，获取重构的原始数据。9.根据权利要求6所述的基于深度学习的多层自动编码系统，其特征在于，所述有监督学习更新模块采用BP算法更新权值矩阵。10.根据权利要求9所述的基于深度学习的多层自动编码系统，其特征在于，所述有监督学习更新模块引入稀疏性限制和KL散度更新权值矩阵。2CN106934458A说明书1/6页基于深度学习的多层自动编码方法及系统技术领域[0001]本发明涉及深度学习领域，尤其涉及一种基于深度学习的多层自动编码方法及系统。背景技术[0002]深度学习(DeepLearning)是机器学习研究中的一个新的领域，其目的在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，建立多层架构对于特征进行逐层抽象。常规的流程有预处理，特征提取，特征选择，识别与预测等等。目前应用于图像识别、语音识别、自然语言理解、天气预测、基因表达等领域。[0003]自动编码器(Autoencoder)是深度学习领域中一种压缩编码器，自动编码机将Xo(取值范围为[0，1])为原始数据，首