内容提供者
基于Transformer算法的单模态标签生成和多模态情感判别方法.pdf
2023-06-06
10金币
14页
东耀****哥哥
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共14页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
基于Transformer算法的单模态标签生成和多模态情感判别方法.pdf
本发明公开了一种基于Transformer算法的单模态标签生成和多模态情感判别方法,包括:1获取多模态非对齐数据集,并进行预处理得到对应模态的嵌入表达特征;2建立ITE网络模块,提取模态内特征;3单模态标签预测和多模态情感决策判别标签的融合生成;4建立模态间BTE网络模块和模态增强MTE网络模块,并经过全局自注意力STE网络模块获取模态间特征和模态增强特征;5获取多模态情感深层预测的标签。本发明对目前多模态数据集仅有一个多模态标签的情况,通过自监督的带权投票机制进行决策融合产生单模态标签,基于多种跨模态T
2023-06-06
10
一种基于多尺度transformer的多模态医学图像融合方法.pdf
本发明公开了一种基于多尺度transformer的多模态医学图像融合方法，属于医学图像融合技术领域。本发明提出了一种新型高效的融合模型，设计多尺度transformer模型引入特征提取网络，使得特征提取网络可以有效地提取多尺度深度特征，并为融合任务保留更多有意义的信息；在网络训练的过程中自适应感受野和patch大小，并构建基于结构相似性优化目标函数来约束图像生成质量；利用卷积计算结合Transformer，为医学影像融合结果提供了更好的视觉效果和量化结果。
2023-06-01
10
1.3MB
多模态分类模型生成方法和装置.pdf
本公开提供了一种多模态分类模型生成方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：获取预置的样本集，样本包括至少两个不同模态的子样本；获取预先建立的多模态融合网络，多模态融合网络包括：门限模块、模态融合模块以及至少两个分别对不同模态数据进行分类的分类模型；从样本集中选取样本；将该样本的不同模态的子样本分别输入至与各模态对应的分类模型，得到各个分类模型输出的特征向量，通过门限模块提取所有的特征向量的门限向量，并将所有的特征向量和门限向量输入模态融合模块，若多模态融合网络满足训练完成条件，则将多
2023-06-14
10
768KB
基于循环共同注意力Transformer的多模态蒙汉翻译方法.pdf
一种基于循环共同注意力Transformer的多模态蒙汉翻译方法，利用YOLO‑V4对输入图像进行目标检测，通过相关性检测对比蒙古文本与目标标签，保留与蒙古文本相关的目标图像，并利用编码层将蒙古文本编码为张量；利用重参数化VGG网络和三重注意力机制提取并关注目标图像特征，采用形变双向长短期记忆网络对目标图像特征与编码后的蒙古文本特征即张量分别进行数次交互，之后送入到循环共同注意力Transformer网络中进行蒙汉翻译，通过数次循环交互，将蒙古语言特征与视觉特征充分融合，输出目标语言。本发明从视觉和语言两
2023-07-25
10
1.1MB
基于多模态特征的业务问题单分类方法及装置.pdf
本发明公开了一种基于多模态特征的业务问题单分类方法及装置，涉及人工智能领域，该方法包括：获取业务问题单，所述业务问题单中包括图像、文本和测试代码，从每个业务问题单中提取图像特征、文本特征和测试代码特征；获取每个业务问题单涉及的测试轮次，对测试轮次进行特征提取，获得测试轮次特征；将每个业务问题单的图像特征、文本特征、测试代码特征和测试轮次特征进行特征融合得到特征向量；将两个业务问题单对应的特征向量进行相似度检验，基于检验结果对业务问题单进行分类。本发明根据实际情况，加入了图像特征、字符类特征如验证代码、统计
2023-08-20
10
747KB