内容提供者
模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置.pdf
2023-07-25
10金币
1.1MB
19页
雨巷****轶丽
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共19页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置.pdf
本发明的目的是提供一种模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置，所述方法包括：计算训练文档中图片与句子的两两相似度值；基于所述相似度值，确定正样本对集和负样本对集；其中，所述正样本对集中有预设数量的正样本对；所述负样本对集中有预设数量的负样本对；所述正样本对集和所述负样本对集用于进一步训练所述模型，直至预设数量的所述正样本对的平均相似度值大于预设数量的所述负样本对的平均相似度值，且两者差值符合预设条件。上述实施方式可以减小采样的偏差，以更好的训练模型来对图片和句子进行匹配。
2023-07-25
10
1.1MB
基于跨模态置信度感知的图像文本匹配方法.pdf
本发明涉及跨模态检索领域，公开了一种基于跨模态置信度感知的图像文本匹配方法，以待匹配文本为桥梁，参考图像‑文本的全局语义，来衡量图像区域在待匹配文本中被描述的可信程度。并且，本发明在聚合区域‑单词匹配对的局部对齐信息以得到图文整体相关性时，根据匹配置信度来过滤掉与全局图像‑文本语义不一致的局部区域‑单词匹配对，更准确地度量的图文相关性，提升跨模态检索性能。
2023-08-12
10
789KB
文本向量模型训练方法、文本匹配方法、装置及设备.pdf
本公开提供一种文本向量模型训练方法、文本匹配方法、装置及电子设备；涉及人工智能技术领域。所述方法包括：对多个第一类文本进行预处理，得到第一训练文本对；利用第一训练文本对预设孪生网络进行训练，得到初始文本向量模型；通过初始文本向量模型生成多个第二类文本的文本向量；计算任意两个文本向量的相似度，并根据相似度确定第二训练文本对；利用第二训练文本对重新训练孪生网络，得到第一文本向量模型。将待预测文本集输入降维处理后的第一文本向量模型生成对应的文本向量，并利用该文本向量进行文本匹配。本公开可以实现训练数据和文本向量
2023-06-14
10
891KB
双模态表征模型训练方法、装置、设备和介质.pdf
本申请的双模态表征模型训练方法、装置、设备和介质，其中方法包括：获取待处理数据，对待处理数据进行预处理，得到预处理数据。对预处理数据进行特征编码，得到多个特征向量。对多个图像块向量进行池化，得到图像块池化向量；对多个词向量进行池化，得到词池化向量。根据图像块池化向量构造第一损失函数，根据词池化向量构造第二损失函数，根据图像块池化向量和词池化向量构造第三损失函数。根据所有损失函数训练待训练模型，得到双模态表征模型。基于三种损失函数进行训练，使得双模态表征模型对图像和文本两种不同模态的特征融合和特征表达能力更
2023-05-31
10
2.3MB
一种跨模态视觉与文本信息匹配方法和装置.pdf
本发明公开了一种跨模态视觉与文本信息匹配方法和装置，其方法包括以下步骤：通过成熟的目标识别系统检测出图片中重要物体场景的区块，区块总数量为X；将这些区块的视觉向量信息输入到视觉编码器中，从而构建这些区块之间的关系和综合信息，获得包含上下文的视觉向量信息h
2023-07-25
10
302KB