基于解耦特征引导的多模态文本页面分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761757A(43)申请公布日2023.03.07(21)申请号202211374707.XG06V10/764(2022.01)(22)申请日2022.11.04G06V10/82(2022.01)(71)申请人福州大学地址350108福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学(72)发明人柯逍许培荣(74)专利代理机构福州元创专利商标代理有限公司35100专利代理师陈鼎桂蔡学俊(51)Int.Cl.G06V30/19(2022.01)G06V30/18(2022.01)G06V10/422(2022.01)G06V10/56(2022.01)G06V10/80(2022.01)权利要求书3页说明书7页附图1页(54)发明名称基于解耦特征引导的多模态文本页面分类方法(57)摘要本发明涉及一种基于解耦特征引导的多模态文本页面分类方法，包括以下步骤：获取电子文本页面数据构建训练集，并基于训练集训练双流的端到端Transformer编码网络，所述双流的端到端Transformer编码网络包括视觉特征提取器、语言特征提取器和跨模态融合编码器；将待分类的电子文本页面的文本数据输入语言特征提取器获得深层语言特征；将待分类的电子文本页面的图像数据输入视觉特征提取器获得深层视觉特征；将得到的深层语言特征和深层视觉特征共同输入跨模态融合编码器获得多模态特征，并用于分类网络进行分类。本发明能够有效地通过多模态方法对电子文本页面进行准确分类。CN115761757ACN115761757A权利要求书1/3页1.一种基于解耦特征引导的多模态文本页面分类方法，其特征在于，包括以下步骤：获取电子文本页面数据构建训练集，并基于训练集训练双流的端到端Transformer编码网络，所述双流的端到端Transformer编码网络包括视觉特征提取器、语言特征提取器和跨模态融合编码器；将待分类的电子文本页面的文本数据输入语言特征提取器获得深层语言特征；将待分类的电子文本页面的图像数据输入视觉特征提取器获得深层视觉特征；将得到的深层语言特征和深层视觉特征共同输入跨模态融合编码器获得多模态特征，并用于分类网络进行分类。2.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述电子文本页面数据包括经济、军事、体育、美食、科技、旅游类别的电子文本页面图像和文本数据。3.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述语言特征提取器包括第二解耦表征网络模块和语言编码器；所述语言特征提取器处理数据的方法，具体如下：将待分类的电子文本页面的文本数据先输入第二解耦表征网络模块，得到浅层语言特征Ehead和剩余文本特征Etail；然后将浅层语言特征Ehead通过10层Transformer结构的语言编码器网络进一步提取文本特征得到深层语言特征Ft。4.根据权利要求3所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，设Text＝{t1，t2，...，tM}为通过分词处理的文本数据序列，tj表示第j个文本描述符，并将其分为头部文本Thead和剩余文本Ttail；采用大规模预训练Bert编码文本语言特征；将文本序列嵌入到语言特征空间具体过程表示为：其中Bert(·)为预训练Bert权重，为待嵌入的文本序列，分别为依照Bert处理的方法在嵌入过程中添加嵌入向量的位置和语义类型；采用S22中文本嵌入方法分别将头部文本Thead和剩余文本Ttail共享同一份Bert权重嵌入特征空间得到为浅层语言特征，为剩余文本特征；将剩余特征和浅层语言特征分别输入引导对齐模块和语言编码模块进行处理。5.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述视觉特征提取器包括第一解耦表征网络模块、引导对齐模块和视觉编码器；所述视觉特征提取器处理数据的方法，具体如下：待分类的电子文本页面的图像数据通过第一解耦表征网络模块处理，解耦得到形状特征fshape、颜色特征fhsv和像素特征fgray；将得到的形状特征fshape、颜色特征fhsv、像素特征fgray和S22中得到的剩余文本特征Etail输入引导对齐模块进行引导对齐得到浅层视觉特征Ev；2CN115761757A权利要求书2/3页将浅层视觉特征Ev输入视觉编码器进行加工，进一步提取视觉特征得到深层视觉特征Fv；其中对常规的视觉编码器中的自注意力层进行替换，采用加入高斯核函数生成mask的Transformer自注意力层，通过该高斯注意力GAttn(·)得到更加关注中心区域的视觉模态特征，其计算公式如下：其中μr，μl，σ为超参数，μr，μl表示高斯函数均值，σ表示高斯函数标准差，Wq，W