一种基于上下文图注意力机制的场景图生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627557A(43)申请公布日2021.11.09(21)申请号202110954631.7G06N3/08(2006.01)(22)申请日2021.08.19(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人张栗粽田玲解修蕊段贵多罗光春张雨林李濛(74)专利代理机构成都希盛知识产权代理有限公司51226代理人陈泽斌李培茂(51)Int.Cl.G06K9/62(2006.01)G06K9/32(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于上下文图注意力机制的场景图生成方法(57)摘要本发明涉及计算机视觉领域中的视觉关系检测技术，其公开了一种基于上下文图注意力机制的场景图生成方法，通过充分挖掘外部知识以及目标的上下文信息，从而提高场景图生成的准确率。该方法通过上下文融合目标的外部知识向量、空间特征以及视觉特征，获得融合后的特征向量；根据目标的邻接矩阵，并结合融合后的特征向量进行图注意力网络的初始化；利用样本数据集中的统计信息计算目标关系的频率系数，并利用目标上下文特征计算图注意力系数；通过图注意力网络的信息迭代获得目标的最终向量表示并计算目标之间的关系，利用目标之间的关系以及目标的损失函数进行梯度下降更新，从而生成视觉关系检测模型；针对待检测图像，根据视觉关系检测模型生成场景图。CN113627557ACN113627557A权利要求书1/2页1.一种基于上下文图注意力机制的场景图生成方法，其特征在于，包括以下步骤：A、训练视觉关系检测模型：A1、对样本数据集中的样本图像进行目标检测，获取图像中目标的类别分布信息、空间特征以及视觉特征；A2、通过目标的类别分布信息从词向量工具中获取对应目标的外部知识向量；A3、对所述目标的外部知识向量、空间特征以及视觉特征进行上下文融合，获得融合后的特征向量；A4、根据目标的类别分布信息生成图像中目标的邻接矩阵，并结合步骤A3中融合后的特征向量进行图注意力网络的初始化；A5、利用样本数据集中的统计信息计算目标关系的频率系数，并利用目标上下文特征计算图注意力系数；A6、通过图注意力网络的信息迭代获得目标的最终向量表示并计算目标之间的关系；A7、通过计算出来的目标之间的关系以及目标的损失函数进行梯度下降更新，从而生成视觉关系检测模型；B、针对待检测图像，根据视觉关系检测模型生成场景图：通过视觉关系检测模型预测图像中目标的关系，将图像中的目标形式化为图形结构的结点，将目标之间的关系形式化为图形结构的边，最后生成图像的场景图表示。2.如权利要求1所述的方法，其特征在于，步骤A1中，采用FasterR‑CNN模型对样本图像进行目标检测。3.如权利要求1所述的方法，其特征在于，步骤A2中，所述词向量工具采用GloVe词向量模型；所述获取对应目标的外部知识向量的方法为：向GloVe词向量模型输入目标类别分布信息，所述目标类别分布信息为目标分类概率向量，并从目标分类概率向量中获取最大值概率的类别，然后根据目标分类概率向量的维度以及最大值概率的类别将其转换成One‑hot编码，通过One‑hot编码与Glove词向量做向量乘法得到相应目标类别的词向量。4.如权利要求1所述的方法，其特征在于，步骤A3中，所述对所述目标的外部知识向量、目标空间特征以及目标的视觉特征进行上下文融合，获得融合后的特征向量，具体包括：分别对目标空间特征和目标的视觉特征进行编码；将目标的外部知识向量、编码后的目标空间特征和编码后的目标视觉特征输入双向GRU网络中进行视觉语义信息融合，输出上下文特征向量。5.如权利要求1所述的方法，其特征在于，步骤A4中，所述根据目标的类别分布信息生成图像中目标的邻接矩阵，并结合步骤A3中融合后的特征向量进行图注意力网络的初始化，具体包括：根据目标的类别分布信息，生成目标结点之间的全连接图，获得目标结点之间的邻接矩阵；然后根据邻接矩阵信息，采用各目标的上下文特征向量对相应的目标结点进行初始化，获得特征初始化的图形网络结构。6.如权利要求1所述的方法，其特征在于，步骤A5中，所述利用样本数据集中的统计信息计算目标关系的频率系数，并利用目标2CN113627557A权利要求书2/2页上下文特征计算图注意力系数，具体包括：计算目标关系的频率系数：根据样本数据集中的标签信息，统计出当样本数据集中目标i出现时，与目标j之间存在关系的概率pij,并输出fij＝1‑pij作为目标i与目标j之间的频率系数；计算图注意力系数：首先，对各目标的上下文特征hi进行线性化：zi＝w1hi，其中，w1为非线