图文相似度的确定方法、装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114782722A(43)申请公布日2022.07.22(21)申请号202210473523.2G06V10/80(2022.01)(22)申请日2022.04.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人汪浩然何栋梁李甫丁二锐(74)专利代理机构北京柏杉松知识产权代理事务所(普通合伙)11413专利代理师孙翠贤高莺然(51)Int.Cl.G06V10/74(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06F40/30(2020.01)G06V10/82(2022.01)权利要求书6页说明书14页附图4页(54)发明名称图文相似度的确定方法、装置及电子设备(57)摘要本公开提供了一种图文相似度的确定方法、装置及电子设备，涉及人工智能领域，尤其涉及深度学习、图像处理、计算机视觉技术领域。该方法包括：从目标图像中提取第一图像特征，以及从目标文本中提取第一文本特征；利用预定的概念表征信息，分别对目标图像和目标文本的概念级语义进行表征，得到第二图像特征和第二文本特征；其中，概念表征信息为用于表示各个指定概念的概念表征的内容；基于第一图像特征、第二图像特征，以及第一文本特征和第二文本特征，计算目标图像和目标文本之间的相似度。通过本方案，可以提高图文匹配时相似度计算的准确性。CN114782722ACN114782722A权利要求书1/6页1.一种图文相似度的确定方法，包括：从目标图像中提取第一图像特征，以及从目标文本中提取第一文本特征；利用预定的概念表征信息，分别对所述目标图像和所述目标文本的概念级语义进行表征，得到第二图像特征和第二文本特征；其中，所述概念表征信息为用于表示各个指定概念的概念表征的内容；基于所述第一图像特征、所述第二图像特征，以及所述第一文本特征和所述第二文本特征，计算所述目标图像和所述目标文本之间的内容相似度。2.根据权利要求1所述的方法，其中，所述概念表征信息是根据各个指定概念的文本向量组合，以及用于表示所述各个指定概念之间的相关性的相关性信息，所生成的。3.根据权利要求2所述的方法，其中，所述各个指定概念为预定语料库中的概念，所述相关性信息包括：在所述预定预料库中每一个指定概念出现时，其他指定概念的出现概率。4.根据权利要求3所述的方法，其中，在所述预定语料库中每一个指定概念出现时，其他指定概念的出现概率的确定方式包括：采用预定计算公式，计算在所述预定预料库中每一个指定概念出现时，其他指定概念的出现概率；其中，所述预定计算公式包括：其中，Pij表示在所述预定预料库中当概念Cj出现时概念Ci的出现概率；Eij表示概念Ci和概念Cj的在所述预定预料库中共同出现的次数，Ni表示Ci在所述预定预料库中的出现次数。5.根据权利要求2所述的方法，其中，所述概念表征信息的构建方式包括：将所述各个指定概念的文本向量组合，以及所述相关性信息输入图卷积网络，得到所述概念表征信息；其中，所述图卷积网络的第l层计算公式为：其中，H(0)＝Y，Y表示所述文本向量组合，P为用于表示所述相关性信息的矩阵，D表示P的度矩阵，表示P正则化的对称拉普拉斯矩阵，W表示权重矩阵，ρ表示非线性激活函数，所述图卷积网络的最后一层输出Z为所述概念表征信息，Z的第i行向量Zi表示概念Ci对应的概念表征。6.根据权利要求1‑5任一项所述的方法，其中，所述利用预定的概念表征信息，分别对所述目标图像和所述目标文本的概念级语义进行表征，得到第二图像特征和第二文本特征，包括：利用预定的概念表征信息以及预定的特征计算模型，分别对所述目标图像和所述目标文本的概念级语义进行表征，得到第二图像特征和第二文本特征；其中，所述预定的特征计算模型是基于正样本图文对和负样本图文对，以及所述概念表征信息，训练得到的模型。2CN114782722A权利要求书2/6页7.根据权利要求6所述的方法，其中，所述特征计算模型的计算公式包括：其中，其中，其中，vC和tC分别表示任一图像的第二图像特征，以及任一文本的第二文本特征；Wv和Wt为参数矩阵；表示指定概念Ci相对于所述任一图像在概念级语义上的第一重要性得分；表示指定概念Ci相对于所述任一文本在概念级语义上的第二重要性得分；λ为控制平滑度的超参数；Zi、Zj表示指定概念Ci、Cj对应的概念表征；表示从所述任一图像提取的图像I特征，t表示从所述任一文本中提取的文本特征，和分别表示Zi和的转置矩阵，q表示指定概念的数量。8.根据权利要求6所述的方法，其中，所述第一图像特征为通过第一特征提取模型所提取的，所述第一文本特征为通过第二特征提取模型所提取到的；所述第一特征提取模型、所