一种基于对比学习的自监督深度表征方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115759189A(43)申请公布日2023.03.07(21)申请号202211399532.8(22)申请日2022.11.09(71)申请人中国电子口岸数据中心成都分中心地址610000四川省成都市天顺中街66号1609室申请人西南交通大学成都海关技术中心(72)发明人余华王鑫磊胡江涛周图南刘苏锐游泽青储节磊(74)专利代理机构成都其知创新专利代理事务所(普通合伙)51326专利代理师舒春艳(51)Int.Cl.G06N3/045(2023.01)G06N3/088(2023.01)G06N3/084(2023.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于对比学习的自监督深度表征方法(57)摘要本发明公开了一种基于对比学习的自监督深度表征方法，包括以下步骤：S1：获取待训练的数据集V；S2：一次批处理训练N条数据，对每一条数据v进行数据增强；S3：将数据v与增强后的数据vs传进受限玻尔兹曼机进行正向传播，获得其在隐藏层对应的数据h与数据hs；S4：进行对比学习，提高正样本之间的相似度；S5：进行反向传播，获得数据v在可视层的重构数据v'；S6：最小化所述数据v'与所述数据v的距离；S7：重复步骤S2‑S6，直至重构损失函数收敛，实现受限玻尔兹曼机的训练；S8：利用S7训练好的受限玻尔兹曼机对数据集V进行深度表征学习，获得其深度特征表示。本发明能够克服传统受限玻尔兹曼机无目的学习的缺点，从而提高模型的表征能力。CN115759189ACN115759189A权利要求书1/2页1.一种基于对比学习的自监督深度表征方法，其特征在于，包括以下步骤：S1：获取待训练的数据集V；所述数据集V＝{v1,v2,…vn}表示n个p维向量组成的数据集，v是一个p维向量表示原始数据；S2：一次批处理训练N条数据，对每一条数据v进行数据增强，获得增强后的数据vs；保留数据v与增强后的数据vs，使得数据量由N条变为2N条，获得数据集V'；所述数据v＝[v1,v2,…,vp]，所述增强后的数据vs＝[vs1,vs2,…,vsp]，v与vs互为正样本，v与其余2N‑2条数据互为负样本；所述数据集V'＝{v1,…,vn,vs1,…,vsn}；S3：将所述数据集V'中的每对互为正样本的数据v与增强后的数据vs传进受限玻尔兹曼机进行正向传播，获得其在隐藏层对应的数据h与数据hs，获得所述数据集V'在隐藏层的特征H；所述数据h＝[h1,h2,…,hq]，所述增强后的数据hs＝[hs1,hs2,…,hsq]；所述特征H＝{h1,…,hn,hs1,…,hsn}；S4：对特征H进行对比学习，减小正样本之间的距离，增大正负样本之间的距离；S5：对所述数据h进行反向传播，获得所述数据v在可视层的重构数据v'；所述重构数据v'＝[v'1,v'2,…,v'p]；S6：将极大似然函数作为重构损失，最小化所述数据v'与所述数据v的距离；S7：重复步骤S2‑S6，直至受限玻尔兹曼机的重构损失函数收敛，实现受限玻尔兹曼机的训练；S8：利用S7训练好的受限玻尔兹曼机对所述数据集V进行深度表征学习，获得所述数据集V的深度特征表示。2.根据权利要求1所述的基于对比学习的自监督深度表征方法，其特征在于，步骤S2中，通过增加高斯噪声进行数据增强。3.根据权利要求1所述的基于对比学习的自监督深度表征方法，其特征在于，步骤S3中，进行正向传播时，运算方法为：h＝σ(b+Wv)(1)式中：σ为函数，x为函数因变量；b＝[b1,b2,…,bq]表示隐藏层偏置向量；W为矩阵，矩阵W＝[w11…wij…wpq]，wij表示可视层第i个单元与隐藏层第j个单元的连接权重。4.根据权利要求3所述的基于对比学习的自监督深度表征方法，其特征在于，步骤S5中，进行反向传播时，运算方法为：v＇＝σ(a+hW)(2)式中：a＝[a1,a2,…,ap]表示可视层偏置向量。5.根据权利要求1‑4中任意一项所述的基于对比学习的自监督深度表征方法，其特征在于，步骤S4中，对特征H进行对比学习时，采用的损失函数为NT‑Xent损失函数。6.根据权利要求5所述的基于对比学习的自监督深度表征方法，其特征在于，同一批次内任意一对样本之间的对比损失通过下式进行计算：式中：NT‑Xent:l(i,j)为损失函数NT‑Xent下样本i与样本j之间的损失；sim(hi,hj)表示hi、hj二者的余弦相似度；hi、hj均为隐藏层特征；τ为温度参数；k为遍历特征H的变量，k∈2CN115759189A权利要求书2/2页[1,2N]；1k≠i为指示因子；hk为特征H中除了hi所有的样本；同一批次内所有样本之间的平均对比损失通过下式进行计算：式中：Loss为同一批次