一种区域感知的图像引导故事续写方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908612A(43)申请公布日2023.04.04(21)申请号202211457463.1(22)申请日2022.11.21(71)申请人广西大学地址530004广西壮族自治区南宁市西乡塘区大学东路100号(72)发明人黄清宝李志刚黎丕鉴(74)专利代理机构广西南宁公平知识产权代理有限公司45104专利代理师蓝文苑(51)Int.Cl.G06T11/00(2006.01)G06T7/30(2017.01)G06F40/284(2020.01)G06F16/31(2019.01)G06F16/36(2019.01)权利要求书2页说明书6页附图2页(54)发明名称一种区域感知的图像引导故事续写方法(57)摘要本发明的一种区域感知的图像引导故事续写方法，通过抽取故事上下文中的关键词，获取故事发展线索，利用现有的大规模知识图网络中抽取故事线索的知识图，通过计算与输入图像之间的相似度对知识图进行过滤。对输入的图像构建场景图。对过滤后的知识图与图像场景图进行匹配，在场景图中获取匹配到的图像物体及其相连的物体的特征作为图像关键特征。对应的图像区域被认为是符合故事上下文逻辑的图像关键区域。利用一个在图像情感数据集上训练过的图像情感提取器提取图像关键区域的情感特征。利用故事上下文、过滤后的知识图、选取到的图像关键特征、以及图像关键区域的情感特征，生成更加具体、一致、且富有情感的故事结尾。CN115908612ACN115908612A权利要求书1/2页1.一种区域感知的图像引导故事续写方法，其特征在于，包括如下步骤：S1，分别输入故事上下文X和引导结尾的图像I，抽取故事上下文句子中的关键词，按先后顺序将获取的关键词相连构成故事上下文发展线索K；S2，从大规模知识库ConceptNet中抽取步骤S1故事上下文发展线索K中关键词知识组成的知识图GR，计算知识图GR中的概念与输入的图像I之间的相似度分数，挑选相似度分数满足阈值的概念，获取过滤后的知识图S3，识别图像中的物体以及物体之间关系，构建图像的场景图GI；S4，对步骤S2中过滤后的知识图和步骤S3中获取到的场景图GI进行匹配，获取匹配到的图像物体S5，从步骤S3构建的场景图GI中，选择步骤S4中匹配到的图像物体及其直接相连的物体的特征作为图像的关键特征S6，获取步骤S5得到图像物体及其直接相连的物体在原始图像中的位置(x，y，w，h)，计算出图像关键特征相对应的图像关键区域Isub的中心坐标和该图像关键区域Isub的宽和高获得图像关键区域Isub的坐标S7，利用一个在图像情感数据集上训练过的图像情感提取器获取步骤S6中图像关键区域Isub的情感特征fsenti；S8，利用步骤S1的故事上下文X、步骤S3中过滤后的知识图步骤S5选取到的图像关键特征以及S7中获取到的图像关键区域的情感特征fsenti生成故事结尾。2.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤1所述获取故事上下文句子中的关键词采用RAKE关键词识别工具。3.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤S2所述的关键词知识表达式为：其中，H表示用于查询的实体，T表示ConceptNet中与H相关的词，R表示两者之间的关系；所述知识图GR表达式为：4.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤S3所述的图像的场景图GI的表达式为：GI＝(NI，VI)其中，NI＝(NI1，NI2，...，NIo)表示图像中识别到的一组物体，VI＝(VI1，VI2，...，VId)表示一组物体之间的关系。5.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤S5所述图像物体直接相连的物体之间构成的边vI的表达式为：式中，表示步骤S5中匹配到的图像物体和在场景图中与之直接相连的物体2CN115908612A权利要求书2/2页之间存在的关系，获取图像中符合故事发展的关键区域的内容信息VI＝(vI1，vI2，…，vIt)，式中，t代表从场景图GI中挑选的边有t个。6.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤S5中所述图像关键特征所对应的的图像关键区域的中心坐标的计算公式为：该图像关键区域Isub的宽和高的计算公式如下：式中，xi，yi，表示第i个图像物体的中心坐标，wi为第i个图像物体的宽，hi为第i个图像物体的高。7.根据权利要求1所述的一种区域感知的图像引导故事续写方法，其特征在于，步骤S7中的图像关键区域的情感特征fsenti获取方式为：fsenti＝DNN(Isub)其中DNN为在图像情感数据集上训练过的图像情感提取器。8.根据权利要求1所