基于语义的场景语义结构图检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111814658A(43)申请公布日2020.10.23(21)申请号202010644017.6(22)申请日2020.07.07(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人沈沛意(74)专利代理机构陕西电子工业专利中心61205代理人王品华黎汉华(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06F16/783(2019.01)权利要求书3页说明书7页附图4页(54)发明名称基于语义的场景语义结构图检索方法(57)摘要本发明公开了一种场景语义结构图检索方法，主要解决现有技术检索效果差的问题。其实现方案为：1)输入一个询问场景语义结构图，在场景语义结构图数据库D中召回与该场景语义结构图相关的结果，得到一个场景语义结构图候选集T；2)计算出候选集T中的匹配结果的匹配距离，并按匹配距离从小到大对候选集T中的匹配结果排序，保留排在前面的k个结果，得到精简后的候选集T'；3)使用图神经网络计算出精简后的候选集T'中的场景语义结构图和询问场景语义结构图之间的相似度S，并按照相似度的值从大到小排序，得到最终的检索结果。本发明提高了场景语义结构图的检索效率和精度，可用于查找语义相似的场景语义结构图及实现局部场景在全局场景中的精确定位。CN111814658ACN111814658A权利要求书1/3页1.一种场景语义结构图检索方法，其特征在于，包括如下：(1)输入一个询问场景语义结构图，在场景语义结构图数据库D中召回与该场景语义结构图相关的结果，得到一个场景语义结构图候选集T：(1a)从场景语义结构图数据库D中提取5种固定的子结构，得到一个子结构数据库D'；再在输入的场景语义结构图中提取相同的5种固定子结构，得到一个询问子结构集合Q，每个子结构均包含了场景语义结构图的名字、子结构类型和物体的标号；(1b)对于询问子结构集合Q中的每个子结构，在子结构数据库D'中检索出能与其匹配的子结构，得到询问子结构和匹配子结构构成的子结构匹配对；(1c)选择所有匹配子结构属于同一个场景语义结构图且这两个询问子结构没有相同物体或相同物体对应的匹配物体也相同的两个子结构匹配对，并在这两个子结构匹配对之间连一条边，得到多个无向图；(1d)对多个无向图求最大团，并合并最大团中的子结构匹配对，得到询问场景语义结构图和场景语义结构图数据库D中的场景语义结构图间的匹配结果，这些匹配结果形成了候选集T；(2)计算出候选集T中的匹配结果的匹配距离，并按匹配距离从小到大对候选集中的匹配结果排序，保留排在前面的k个结果，得到精简后的候选集T'，其中k根据实际需求设定，取值为50或100；(3)使用图神经网络精确的计算出精简后的候选集T'中的场景语义结构图和询问场景语义结构图之间的相似度S，并按照相似度的值从大到小排序，得到最终的检索结果。2.根据权利要求1所述的方法，其中(2)中计算出候选集T的匹配结果的匹配距离，通过φ如下场景语义结构图匹配距离度量函数D(G1,G2)计算：其中，G1＝(O1,E1)是一个询问场景语义结构图，O1是G1中的物体集合，E1是G1中的关系集合，G2＝(O2,E2)是一个匹配场景语义结构图，O2是G2中的物体集合，E2是G2中的关系集合，φφ是G1和G2中的物体之间的双向映射函数，其表示G1和G2之间的匹配结果，函数D由5个部分组成：wo，wr，wa，ws，wg分别表示各部分的权重，其中：表示匹配结果在物体的类别上的差异，式中ci表示G1中的物体oi的类别，V(ci)表示该类别ci对应的词向量，φ(ci)表示物体oi的匹配物体的类别，V(φ(ci))表示该类别φ(ci)对应的词向量，dg(oi)表示物体oi在图中的度数；表示匹配结果在关系的类别上的差异，式中E1(oi,oj)p表示G1中的物体oi和物体oj间的第p条关系的类别，V(E1(oi,oj)p)表示该关系的类别E1(oi,oj)p对应的词向量，E2(φ(oi),φ(oj))q表示物体φ(oi)和物体φ(oj)间的第q条关系的类别，V(E2(φ(oi),φ(oj))q)表示该关系的类别E2(φ(oi),φ(oj))q对应的词向量；2CN111814658A权利要求书2/3页表示匹配结果在物体的属性上的差异，式中Ai,p表示物体oi的第p个属性得到类别，V(Ai,p)是该属性的类别Ai,p对应的词向量，φ(Ai)q表示匹配物体φ(oi)的第q个属性的类别，V(φ(Ai)q)是该属性的类别φ(Ai)q对应的词向量；表示匹配结果在结构上的差异，式中d(oi,oj)表示物体