基于内容理解的遥感影像推荐方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115934990A(43)申请公布日2023.04.07(21)申请号202211302112.3G06F40/30(2020.01)(22)申请日2022.10.24G06V10/44(2022.01)G06V10/74(2022.01)(71)申请人北京数慧时空信息技术有限公司G06V10/764(2022.01)地址100070北京市丰台区海鹰路1号院1G06V10/82(2022.01)号楼二层201G06V20/10(2022.01)(72)发明人许晓航张广益龚启航李洁段红伟邹圣兵(51)Int.Cl.G06F16/583(2019.01)G06N3/04(2023.01)G06N3/08(2023.01)G06F16/51(2019.01)G06F16/535(2019.01)G06F16/55(2019.01)G06F16/58(2019.01)G06F40/289(2020.01)权利要求书2页说明书13页附图2页(54)发明名称基于内容理解的遥感影像推荐方法(57)摘要本发明提供一种基于内容理解的遥感影像推荐方法，涉及遥感影像处理技术领域，包括：获取遥感样本，构建第一模型和第二模型，通过第一模型得到第一特征和第二特征，其中，第二特征是根据第一特征进行降维得到，并通过第二模型得到目标对象集合、描述文本集合；将第一特征、第二特征、目标对象集合、描述文本集合作为推荐元素项，并基于推荐元素项构建推荐库；获取待推荐影像，将待推荐影像分别输入第一模型和第二模型，得到待推荐影像的各个推荐元素项，并基于筛选策略从推荐库中进行筛选，得到推荐结果。本发明提供的方法能够快速检索到影像，并丰富了影像的语义信息，提高推荐结果的精度。CN115934990ACN115934990A权利要求书1/2页1.一种基于内容理解的遥感影像推荐方法，其特征在于，包括：S1获取遥感样本；S2构建第一模型和第二模型，第一模型包括卷积神经网络，第二模型包括编码器、解码器；S3将遥感样本输入第一模型，根据卷积神经网络得到第一特征和第二特征，其中，第二特征是根据第一特征进行降维得到；S4将遥感样本输入第二模型，根据编码器、解码器得到目标对象集合、描述文本集合；S5将第一特征、第二特征、目标对象集合、描述文本集合作为推荐元素项，并基于推荐元素项构建推荐库；S6获取待推荐影像，将待推荐影像分别输入第一模型和第二模型，得到待推荐影像的各个推荐元素项，并基于筛选策略从推荐库中进行筛选，得到推荐结果。2.根据权利要求1所述的方法，其特征在于，所述筛选策略为：第一步、将待推荐影像的第二特征与推荐库的第二特征进行差异分析，得到差异性结果，将差异性结果达到第一阈值的影像作为第一影像集；第二步、将待推荐影像的第一特征与第一影像集的第一特征进行特征度量，得到度量值，将度量值进行排序，选取前K个影像作为第二影像集；第三步、将待推荐影像的描述文本集合与推荐库的描述文本集合进行文本相似度的计算，将文本相似度达到第二阈值的影像作为第三影像集；第四步、将待推荐影像的目标对象集合与第三影像集的目标对象集合进行重合分析，得到重合度，将重合度进行排序，选取前M个影像作为第四影像集；第五步、将第二影像集与第四影像集合并、去重，得到推荐结果。3.根据权利要求1所述的方法，其特征在于，步骤S4包括：S41编码器包括特征提取网络、目标检测网络；S42根据特征提取网络对遥感样本进行特征提取，得到第三特征；S43收集遥感资料，结合遥感资料和第三特征构建知识图谱，并将知识图谱保存到编码器中；S44根据目标检测网络对遥感样本进行目标检测，得到目标对象集合；S45将目标对象集合输入知识图谱进行学习，得到目标关系描述，将目标对象集合和目标关系描述输入解码器进行解码，得到描述文本集合。4.根据权利要求3所述的方法，其特征在于，步骤S43包括：收集遥感资料，遥感资料包括与遥感影像相关的资料和地学资料，其中，与遥感影像相关的资料包括文本资料、图像资料、场景资料、物候资料、环境资料、建筑资料、区划资料，地学资料包括地学数据资料、地学概念资料、地学规律资料；进行遥感模式设计，包括概念设计、属性设计、遥感领域规则设计，以确定知识图谱的领域和范围，并明确知识图谱中的概念和属性；对遥感资料进行知识抽取，并结合实体识别方法和概念形成文本实体，基于第三特征进行多标签分类，根据得到的多标签结果形成影像实体，将文本实体和影像实体合并作为遥感实体；结合属性对遥感实体间的关系进行抽取，包括空间关系、时间关系、语义关系；2CN115934990A权利要求书2/2页根据遥感实体、遥感实体间的关系构建三元组，并基于三元组构建得到知识图谱。5.根据权利要求3所述的方法，其特征在于，步