基于视觉Transformer的恶意软件识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115879109A(43)申请公布日2023.03.31(21)申请号202310063452.3G06V10/774(2022.01)(22)申请日2023.02.06G06V10/778(2022.01)G06N3/0455(2023.01)(71)申请人山东省计算中心（国家超级计算济G06N3/047(2023.01)南中心）G06N3/048(2023.01)地址250014山东省济南市历下区科院路G06N3/09(2023.01)19号山东省计算中心G06N3/091(2023.01)申请人齐鲁工业大学（山东省科学院）G06N3/096(2023.01)(72)发明人刘广起王志文韩晓晖左文波(74)专利代理机构济南泉城专利商标事务所37218专利代理师支文彬(51)Int.Cl.G06F21/56(2013.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书7页说明书16页附图4页(54)发明名称基于视觉Transformer的恶意软件识别方法(57)摘要一种基于视觉Transformer的恶意软件识别方法，属于软件安全防护技术领域，将良性/恶意软件的可执行文件可视化为RGB图像，构建恶意软件图像数据集；采用ImageNet‑21K图像数据集对视觉Transformer进行预训练，并采用恶意软件图像数据集进行微调；构建轻量级视觉Transformer用于在轻量级设备上的实际部署；基于知识蒸馏将训练完备的视觉Transformer的知识迁移到轻量级视觉Transformer中以缩小两模型之间的性能差距；使用轻量级视觉Transformer进行恶意软件的检测与家族分类。保证了模型的检测效率及较低的硬件资源占用以及模型的检测和家族分类精度。CN115879109ACN115879109A权利要求书1/7页1.一种基于视觉Transformer的恶意软件识别方法，其特征在于，包括如下步骤：(a)获取ImageNet‑21K图像数据集及应用软件的可执行文件数据集，可执行文件数据集中包括良性软件的可执行文件与包括家族标签的恶意软件可执行文件，将可执行文件数据集中全部样本可视化为RGB图像构建恶意软件图像数据集；(b)搭建包含X层编码器的视觉Transformer模型，采用ImageNet‑21K图像数据集对视觉Transformer模型进行分类预训练，将分类预训练后的视觉Transformer模型中的全连接层更改为有序的双任务分类器进行恶意软件检测与家族分类，采用恶意软件图像数据集对视觉Transformer模型进行微调；(c)搭建轻量级视觉Transformer模型用于实际部署；(d)将微调后的视觉Transformer模型作为教师模型，轻量级视觉Transformer模型作为学生模型，利用教师模型的自注意力矩阵、隐藏层状态及双任务分类器的预测logits作为学生模型的监督信息对学生模型进行蒸馏训练；(e)将蒸馏训练后的轻量级视觉Transformer模型对未知软件进行良性软件或恶意软件的判别以及恶意软件所属家族标签的判定。2.根据权利要求1所述的基于视觉Transformer的恶意软件识别方法，其特征在于，步骤(a)中将可执行文件数据集中全部样本可视化为RGB图像的步骤为：(a‑1)以十六进制读取应用软件的可执行文件，将十六进制数转为十进制数使应用软件的可执行文件表示为取值范围在[0,255]的十进制数值序列；(a‑2)十进制数值序列长度为，该序列长度的待转换图像宽度为，，为向下取整；(a‑3)十进制数值序列中相邻的三个十进制数依次作为单个像素的R通道值、G通道值、B通道值，得到可执行文件的可视化的RGB图像，，为实数空间，为图像的高，3为图像的通道数，所有的可执行文件的可视化的RGB图像构成恶意软件图像数据集。3.根据权利要求2所述的基于视觉Transformer的恶意软件识别方法，其特征在于，步骤(b)包括如下步骤：(b‑1)视觉Transformer模型依次由12层编码器及多层感知机MLP构成，每个编码器依次由第一层归一化层LayerNorm、多头自注意力机制Muti‑HeadAttention、第一残差连接层、第二层归一化层LayerNorm、多层感知机MLP及第二残差连接层构成；(b‑2)将可视化的RGB图像进行缩放，得到缩放的可视化的RGB图像，其中为缩放的可视化的RGB图像的高，为缩放的可视化的RGB图像的宽，使用torch库中的Flatten函数将缩放的可视化的RGB图像中第行像素值扁平化处理为，，3D的可视化的RGB图像转化为2D行序列，；(b‑3)2D行序列经过一个线性层将序列中的每个元素映射至维得到