一种基于BERT的非侵入式电脑行为监测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113742188A(43)申请公布日2021.12.03(21)申请号202110980228.1(22)申请日2021.08.25(71)申请人宁波大学地址315100浙江省宁波市江北区风华路818号宁波大学信息科学与工程学院(72)发明人江先亮刘若愚(74)专利代理机构宁波甬致专利代理有限公司33228代理人李迎春(51)Int.Cl.G06F11/34(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于BERT的非侵入式电脑行为监测方法及系统(57)摘要本发明涉及用电设备行为监测技术领域，公开了一种基于BERT的非侵入式电脑行为监测方法及系统，本方法包括步骤：S1：通过卷积层提取特征数据信息，并增加一维输入序列的隐藏尺寸得到目标数据信息；S2：将步骤S1的目标数据信息与位置嵌入矩阵相加，得到序列位置编码；S3：将目标数据信息传输至Transformers层中进行预设处理，得到注意力模型输出数据。本方法使用了Transformer作为算法的主要框架并采用MLM和NSP的多任务训练目标，最后基于机器训练大规模的数据，使得BERT的输出结果达到了有效的应用。CN113742188ACN113742188A权利要求书1/2页1.一种基于BERT的非侵入式电脑行为监测方法，其特征在于，包括步骤：S1：通过卷积层提取特征数据信息，并增加一维输入序列的隐藏尺寸得到目标数据信息；S2：将步骤S1的目标数据信息与位置嵌入矩阵相加，得到序列位置编码；S3：将目标数据信息传输至Transformers层中进行预设处理，得到注意力模型输出数据；S4：将步骤S3处理后的注意力模型输出数据输入MLP层，并转置卷积将注意力模型输出数据扩展到其原始长度；S5：通过预设算法将输入的隐藏尺寸变为软件的分类。2.根据权利要求1所述的基于BERT的非侵入式电脑行为监测方法，其特征在于，所述步骤S1包括：S11：通过卷积操作增加特征数据的维度；S12：通过L2norm池来保留特征数据信息，并减少输入序列的长度。3.根据权利要求1所述的基于BERT的非侵入式电脑行为监测方法，其特征在于，所述步骤S2包括：S21：其中，得到序列位置编码的等式为：Embedding(X)＝LPPooling(Conv(X))+Epose；其中，X表示输入数据，Conv表示卷积操作，LPPooling表示池化操作，Epose表示位置矩阵。4.根据权利要求1所述的基于BERT的非侵入式电脑行为监测方法，其特征在于，所述步骤S3包括：S31：通过对输入矩阵进行线性变换得到Q，K和V矩阵，转化为包含不同的子空间信息的注意输出；其中，转化注意输出的等式为：OMultiHead(Q,K,V)＝Concat(head1,head2,…,headh)WQKVwhere·headi＝Attention(QWi,KWi,VWi)；其中，Multihead表示多头注意力值，head表示注意力值，Q,K,V表示线性变换的参数。5.根据权利要求1所述的基于BERT的非侵入式电脑行为监测方法，其特征在于，所述步骤S5包括：S51：所述MLP层由一个反卷积层和两个线性层组成，并在两层MLP之间有Tanh激活；其中，所述预设算法为：Out(X)＝Tanh(Deconv(X)W1+b1)W2+b2；其中，X表示输入数据，W1、b1、W2、b2表示神经网络学习使用的参数。6.一种基于BERT的非侵入式电脑行为监测系统，其特征在于，包括：提取模块：通过卷积层提取特征数据信息，并增加一维输入序列的隐藏尺寸得到目标数据信息；相加模块：将提取模块中的目标数据信息与位置嵌入矩阵相加，得到序列位置编码；处理模块：将目标数据信息传输至Transformers层中进行预设处理，得到注意力模型输出数据；2CN113742188A权利要求书2/2页转置模块：将处理模块处理后的注意力模型输出数据输入MLP层，并转置卷积将注意力模型输出数据扩展到其原始长度；计算模块：通过预设算法将输入的隐藏尺寸变为软件的分类。7.根据权利要求6所述的基于BERT的非侵入式电脑行为监测系统，其特征在于，所述提取模块包括：池化单元：通过卷积操作增加特征数据的维度；保留特征单元：通过L2norm池来保留特征数据信息，并减少输入序列的长度。8.根据权利要求6所述的基于BERT的非侵入式电脑行为监测系统，其特征在于，所述相加模块包括：矩阵获取单元：其中，得到序列位置编码的等式为：Embedding(X)＝LPPooling(Conv(X))+Epose；其中，X表示输入数据，Conv表示卷积操作，LP