一种基于多模态的轨迹文本匹配方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115248877A(43)申请公布日2022.10.28(21)申请号202211155406.8G06F16/383(2019.01)(22)申请日2022.09.22G06F16/783(2019.01)G06F40/295(2020.01)(71)申请人中国电子科技集团公司第十五研究G06F40/30(2020.01)所G06V20/40(2022.01)地址100083北京市海淀区北四环中路211号(72)发明人王立才唐瀚超罗琪彬武广胜(74)专利代理机构北京慕达星云知识产权代理事务所(特殊普通合伙)11465专利代理师符继超(51)Int.Cl.G06F16/732(2019.01)G06N3/04(2006.01)G06F16/332(2019.01)权利要求书4页说明书9页附图1页(54)发明名称一种基于多模态的轨迹文本匹配方法(57)摘要本发明公开了一种基于多模态的轨迹文本匹配方法，包括：提取轨迹特征，并计算不同语义层轨迹特征矩阵；对文本进行语义标注，将文本的单词按照语义结构划分成不同的语义层次并构建语义拓扑图，基于RGCN模型对语义拓扑图的节点进行聚合并基于注意力机制更新节点得到词特征向量；计算对应层次的轨迹特征矩阵和词特征向量的相似度并进行加权求和获得整体相似度得分。通过将文本划分为不同语义层次分别进行独立编码，既保留了的文本的细节信息，同时也保留了轨迹和文本中拓扑结构，提高了匹配检索的准确度；同时引入注意力机制和参数共享的方法减少了计算参数量，提高了计算效率。CN115248877ACN115248877A权利要求书1/4页1.一种基于多模态的轨迹文本匹配方法，其特征在于，包括：S1：提取轨迹特征，并计算不同语义层轨迹特征矩阵；S2：对文本进行语义标注，将文本的单词按照语义结构划分成不同的语义层次并构建语义拓扑图，基于RGCN模型对语义拓扑图的节点进行聚合并基于注意力机制更新节点得到词特征向量；S3：计算对应层次的轨迹特征矩阵和词特征向量的相似度并进行加权求和获得整体相似度得分。2.根据权利要求1所述的一种基于多模态的轨迹文本匹配方法，其特征在于，S1包括：S11：提取轨迹数据的三类维度信息数据，并将提取的三类维度信息数据进行加权融合；S12：计算一条轨迹信息中每个轨迹点的特征向量，在全局层将所有轨迹点的特征向量聚合为全局向量，在动作层将所有轨迹点特征向量聚合为动作向量，在实体层将所有轨迹点的特征向量聚合为实体向量，获得不同语义层轨迹特征矩阵。3.根据权利要求2所述的一种基于多模态的轨迹文本匹配方法，其特征在于，S11具体包括：三类维度信息包括轨迹空间维度、轨迹状态维度和轨迹属性维度；提取轨迹数据的三类维度信息数据计算公式为：加权融合公式为：其中表示对三类维度信息数据的学习结果，表示三个独立的学习参数矩阵，表示三类维度信息数据，为融合函数，表示不同的融合参数。4.根据权利要求3所述的一种基于多模态的轨迹文本匹配方法，其特征在于，S12具体包括：S121：计算一条轨迹信息中每个轨迹点的特征向量，，一条轨迹的向量组e=[,...]，M表示一条轨迹中轨迹点的数量，e为一条轨迹的向量组，为轨迹点的向量；S122：为了与不同语义层次的文本进行匹配，通过相互独立的三个权重参数，和对轨迹点的特征向量进行处理，得到三个独立表示的轨迹特征向量组，计算公式为：其中，和代表三个不同的可学习权重参数矩阵，表示全局层轨迹点特征2CN115248877A权利要求书2/4页向量，表示动作层轨迹点特征向量，表示实体层轨迹点特征向量；S123：在全局层将所有轨迹点的特征向量聚合为全局向量，在动作层将所有轨迹点特征向量聚合为动作向量[,...]，在实体层将所有轨迹点的特征向量聚合为实体向量[,...]，获得不同语义层轨迹特征矩阵。5.根据权利要求4所述的一种基于多模态的轨迹文本匹配方法，其特征在于，S2具体包括：S21：分析每个句子中的动词、名词短语、动词与对应的名词之间的关系；S22：将句子整体作为根节点，将动词作为动作节点与根节点相连，将名词短语作为实体节点与对应的动作节点相连，将动作节点与实体节点连接的边作为语义关系，形成不用的语义层次；S23：基于双向LSTM模型将每个句子中的动作节点和实体节点嵌入为一个向量，记录句子中每个单词的词向量W=[,...]；S24：将所有单词的词向量通过注意力机制聚合为全局事件节点向量；S25：获取句子中动作节点和实体节点嵌入向量后的词向量，并进行最大池化运算，对应得到动词节点向量和实体节点向量；S26：基于全局事件节点向量、动词节点向量和实体节点向量构建语义拓扑图，将全局事件节点向量、动词节点向量和实体节点向量作为初始化的节点向量输入至