条目抽取方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965001A(43)申请公布日2023.04.14(21)申请号202211568424.9G06N3/0464(2023.01)(22)申请日2022.12.07G06N3/042(2023.01)G06N3/045(2023.01)(71)申请人上海高德威智能交通系统有限公司G06N3/048(2023.01)地址201821上海市嘉定区云谷路599弄6G06N3/08(2023.01)号620室J1452(72)发明人李灿乔梁程战战(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287专利代理师杨长河(51)Int.Cl.G06F40/205(2020.01)G06F40/295(2020.01)G06F40/30(2020.01)G06F18/25(2023.01)G06V30/41(2022.01)权利要求书4页说明书13页附图3页(54)发明名称条目抽取方法、装置、电子设备及存储介质(57)摘要本申请提供一种条目抽取方法、装置、电子设备及存储介质，属于数据处理技术领域。该方法包括：对待处理文本数据进行特征提取，得到待分析文本数据中各文本单位的位置特征、语义特征和视觉特征；对文本单位的位置特征、语义特征和视觉特征进行特征融合，得到多模态融合特征；根据每个文本单位的多模态融合特征和位置特征，构建第一图网络；对第一图网络中的各节点特征进行更新，并基于更新后的节点特征确定第一图网络中各节点的类别属性；基于归属于目标类别属性的各节点之间的关联关系，将存在关联关系的节点所对应的文本单位的字段信息进行组合输出，得到待处理文本数据中同一条目的信息。本申请旨在提升了字段信息之间的关系匹配效果。CN115965001ACN115965001A权利要求书1/4页1.一种条目抽取方法，其特征在于，所述条目抽取方法包括以下步骤：获取待处理文本数据；对所述待处理文本数据进行特征提取，得到所述待分析文本数据中各文本单位的位置特征、语义特征和视觉特征；针对每个文本单位，对所述文本单位的位置特征、语义特征和视觉特征进行特征融合，得到所述文本单位的多模态融合特征；根据每个文本单位的多模态融合特征和位置特征，构建所述待处理文本数据的第一图网络，其中，每个文本单位对应所述第一图网络中的一个节点；对所述第一图网络中的各节点特征进行更新，并基于更新后的节点特征确定所述第一图网络中各节点的类别属性；基于归属于目标类别属性的各节点之间的关联关系，将存在关联关系的节点所对应的文本单位的字段信息进行组合输出，得到所述待处理文本数据中同一条目的信息。2.如权利要求1所述的条目抽取方法，其特征在于，所述对所述待处理文本数据进行特征提取，得到所述待分析文本数据中各文本单位的位置特征、语义特征和视觉特征的步骤，包括：对所述待处理文本数据进行文本单位的识别，得到所述待处理文本数据中各文本单位的位置信息和文本信息；针对每个文本单位，基于所述文本单位的文本信息，确定所述文本单位的文本语义特征；针对每个文本单位，基于所述文本单位的文本语义特征，利用预设语义模型确定所述文本单位的上下文语义特征；针对每个文本单位，对所述文本单位的文本语义特征和所述文本单位的上下文语义特征进行加权融合，得到所述文本单位的语义特征；针对每个文本单位，基于所文本单位的位置信息，确定所述文本单位的位置特征；针对每个文本单位，基于所述文本单位的位置信息，通过RoIAlign方法对所述位置信息对应的特征图进行池化操作，得到所述文本单位的视觉特征。3.如权利要求2所述的条目抽取方法，其特征在于，所述针对每个文本单位，对所述文本单位的文本语义特征和所述文本单位的上下文语义特征进行加权融合，得到所述文本单位的语义特征的步骤，包括：针对每个文本单位，基于预设门控函数，对所述文本单位的文本语义特征和所述文本单位的上下文语义特征进行计算，得到门控特征；基于预设激活函数，对所述文本单位的文本语义特征和所述文本单位的上下文语义特征进行计算，得到原始特征；对所述门控特征和所述原始特征进行点乘操作，并将点乘操作后得到的结果特征与所述文本语义特征相加，得到所述文本单位的语义特征。4.如权利要求2所述的条目抽取方法，其特征在于，所述待处理文本数据为图片格式；对所述待处理文本数据进行文本单位的识别，得到所述待处理文本数据中各文本单位的位置信息和文本信息的步骤，包括：利用预设OCR算法对所述待处理文本数据进行文本单位的识别，得到所述待处理文本2CN115965001A权利要求书2/4页数据中各文本单位的位置信息和文本信息；所述待处理文本数据为PDF；对所述待处理文本数据进行文本单位的识别，得到所述待处理文本数据中各文本单位的位置信息和文本信息的步骤，包括：利用预