一种基于面向多源信息融合的数据预处理方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757366A(43)申请公布日2023.03.07(21)申请号202210059403.8(22)申请日2022.01.19(71)申请人德普深（厦门）数据科技有限公司地址361012福建省厦门市中国(福建)自由贸易试验区厦门片区象屿路97号厦门国际航运中心D栋8层03单元E之三(72)发明人曾志强蔡燕银吴旭陈佳音施润泽(74)专利代理机构杭州一串数字知识产权代理有限公司33437专利代理师贾晓乐(51)Int.Cl.G06F16/215(2019.01)G06F18/25(2023.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于面向多源信息融合的数据预处理方法(57)摘要本发明涉及数据处理技术领域，具体提供了一种基于面向多源信息融合的数据预处理方法，基于面向多源信息融合的数据预处理方法包括：获取多源信息数据的基本信息；逐章节遍历所述数据上传操作内容，生成对应信息数据库的信息点架构树；加载预配置信息数据库，基于预训练的修改备份建立模型；根据信息点架构树选结果，识别点选内容的关键词数据，并推送依据所述关键词数据筛选的资源数据，以导入修改备份中；本发明实施例通过备份建立模型，能够对用户在操作过程中的误操作进行回溯，比如数据的误删除、误修改进行溯源，从而避免因误操作导致数据无法恢复的现象，且能够对多源信息进行预处理，方便了对数据的检索和查询。CN115757366ACN115757366A权利要求书1/2页1.一种基于面向多源信息融合的数据预处理方法，其特征在于，所述基于面向多源信息融合的数据预处理方法包括：获取多源信息数据的基本信息，所述多源信息基本信息包括待导入修改备份对应的数据上传操作以及多信息数据库；逐章节遍历所述数据上传操作内容，生成对应信息数据库的信息点架构树；加载预配置信息数据库，基于预训练的修改备份建立模型，筛选对应信息点架构树的资源子数据集；以登录信息为输入，输入修改备份建立模型，根据信息点架构树选结果，识别点选内容的关键词数据，并推送依据所述关键词数据筛选的资源数据，以导入修改备份中。2.根据权利要求1所述的基于面向多源信息融合的数据预处理方法，其特征在于，所述生成对应信息数据库的信息点架构树包括：通过操作消息采集装置获取建立架构树消息创建命令：提取架构树消息创建命令，判断创建架构树的创建类型，所述创建架构树类型包括单源数据、多源数据、多媒体数据、地理位置和定位数据；输入创建架构树的类型，将创建架构树类型输入架构树创建数据库；获取基于输入创建架构树类型的标准信息点架构树。3.根据权利要求2所述的基于面向多源信息融合的数据预处理方法，其特征在于，所述预训练的修改备份建立模型的训练方法，包括：获取关键数据样本数据；以关键数据样本数据为输入，执行待训练的备份建立模型，通过备份建立模型对所述关关键数据样本数据对应的题库资源样本特征提取，得到关键数据样本数据的备份建立资源；基于所述备份建立资源，判断其修改备份建立模型关联程度，若关联度大于预设关联阈值，则调整所述修改备份建立模型的参数，并继续训练，直至满足。4.根据权利要求2所述的基于面向多源信息融合的数据预处理方法，其特征在于，还包括修改备份导入，所述修改备份导入方法包括：获取用户端的访问请求，所述访问请求包括用户标识及访问密码；验证所述用户标识及访问密码，登录个人数据预处理账户；根据加载的历史修改备份，修改或新建待导入的修改备份。5.根据权利要求4所述的基于面向多源信息融合的数据预处理方法，其特征在于，所述修改备份导入方法还包括建立通信连接，所述建立通信连接包括：基于云平台协议接口规范将短信消息执行命令协议转码。6.根据权利要求5所述的基于面向多源信息融合的数据预处理方法，其特征在于，所述云平台协议接口规范基于3GPP、RFC、RCC、GSMAIR.92、IETF、OMA国际技术标准。7.根据权利要求4所述的基于面向多源信息融合的数据预处理方法，其特征在于，筛选对应信息点架构树的资源子数据集具体包括：判断敏感信息；整合短信消息创建命令中的敏感信息，形成敏感信息数据库；逐一遍历资源子数据集与敏感信息数据库，筛除干扰数据。2CN115757366A权利要求书2/2页8.根据权利要求7所述的基于面向多源信息融合的数据预处理方法，其特征在于，判断敏感信息类型包含文本识别审核、图片识别审核、视频识别审核、语音识别审核和链接识别审核。9.根据权利要求7所述的基于面向多源信息融合的数据预处理方法，其特征在于，敏感信息数据库建立方法具体包括：接收与多场景对应的多源信息标准敏感数据，其中所述多源信息标准敏感数据至少包括一个场景对应的标准敏感数据和所述场景对应的场景参数数据；根据多场景对应的多源信息标