对象间关系的识别方法、装置和电子系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112819011A(43)申请公布日2021.05.18(21)申请号202110122272.9(22)申请日2021.01.28(71)申请人北京迈格威科技有限公司地址100090北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人邹城李伯勋张弛(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人安卫静(51)Int.Cl.G06K9/46(2006.01)G06K9/62(2006.01)G06N7/00(2006.01)权利要求书3页说明书20页附图6页(54)发明名称对象间关系的识别方法、装置和电子系统(57)摘要本发明提供了一种对象间关系的识别方法、装置和电子系统，该方法包括：对待处理图像进行特征提取处理，得到所述待处理图像对应的基础特征向量；基于注意力模块对该基础特征向量进行处理，确定待处理图像中对象之间的关联关系，得到关系特征向量；基于关系特征向量进行分类，得到至少一个分类结果集合，该分类结果集合包括待处理图像中对象之间的关系类别。通过本发明，可以缓解现有关系识别不能较好地兼顾模型精度和模型处理效率的问题。CN112819011ACN112819011A权利要求书1/3页1.一种对象间关系的识别方法，其特征在于，所述方法应用于电子设备，所述方法包括：对待处理图像进行特征提取处理，得到所述待处理图像对应的基础特征向量；基于注意力模块对所述基础特征向量进行处理，确定所述待处理图像中对象之间的关联关系，得到关系特征向量；基于所述关系特征向量进行分类，得到至少一个分类结果集合，所述分类结果集合包括所述待处理图像中对象之间的关系类别。2.根据权利要求1所述的方法，其特征在于，对待处理图像进行特征提取处理，得到所述待处理图像对应的基础特征向量的步骤，包括：对待处理图像进行特征提取，得到初始特征图；对所述初始特征图进行降维处理，得到降维特征图；将所述降维特征图进行变换，得到所述待处理图像对应的基础特征向量。3.根据权利要求1或2所述的方法，其特征在于，所述电子设备预存有对象间关系模型，所述对象间关系模型包括注意力网络；所述注意力网络包括编码器和解码器；所述编码器和所述解码器均包括注意力模块；所述基于注意力模块对所述基础特征向量进行处理，确定所述待处理图像中对象之间的关联关系，得到关系特征向量的步骤，包括：根据所述基础特征向量确定所述编码器的位置编码信息和所述解码器的位置解码信息；将所述位置编码信息和所述基础特征向量输入所述编码器进行编码处理，得到所述待处理图像对应的全局特征向量；将所述全局特征向量、所述位置编码信息和所述位置解码信息输入所述解码器进行解码处理，得到所述待处理图像对应的关系特征向量。4.根据权利要求3所述的方法，其特征在于，所述编码器包括多个所述注意力模块，所述注意力模块为自注意力网络层；所述编码器进行编码处理包括：对所述位置编码信息和所述基础特征向量进行求和计算，得到第一中间特征向量；通过多个所述注意力模块对所述位置编码信息和所述基础特征向量进行处理，确定所述待处理图像对应的关系权重系数；根据所述关系权重系数对所述第一中间特征向量进行加权，得到所述全局特征向量。5.根据权利要求3所述的方法，其特征在于，所述解码器包括第一注意力模块和多个第二注意力模块，所述第一注意力模块为自注意力网络层，所述第二注意力模块为交叉注意力网络层；所述解码器进行解码处理包括：通过所述第一注意力模块对所述位置解码信息进行处理，确定所述位置解码信息对应的各个空间位置间对应的第二中间特征向量；通过多个所述第二注意力模块对第二中间特征向量、所述位置编码信息和所述全局特征向量进行处理，得到所述关系特征向量。6.根据权利要求1至5任一项所述的方法，其特征在于，所述电子设备预存有分类与回归网络，基于所述关系特征向量进行分类，得到至少一个分类结果集合的步骤包括：将所述关系特征向量输入所述分类与回归网络进行检测处理，得到至少一个分类结果2CN112819011A权利要求书2/3页集合，所述分类结果集合包括：第一对象的类别、第一对象的位置、第二对象的类别、第二对象的位置和所述第一对象与所述第二对象的关系类别，其中，所述待处理图像包括第一对象和第二对象。7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：对初始关系模型进行训练，得到训练后的对象间关系模型；该训练过程包括：将图像样本输入所述初始关系模型，得到所述图像样本对应的多个预测信息；其中，所述图像样本有多个标注信息，所述标注信息包括所述图像样本中对象间的关系标注类别，所述预测信息包括所述图像样本中对象间的关系预测类别；将所述标注信息和所述预测信息进行匹配，基于匹