一种自动数据预处理的方法、装置以及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114139490A(43)申请公布日2022.03.04(21)申请号202210115352.6(22)申请日2022.02.07(71)申请人建元和光（北京）科技有限公司地址100025北京市朝阳区西大望路1号1号楼17层2009室(72)发明人庄涤坤刘建新赵雪黄平(74)专利代理机构苏州市中南伟业知识产权代理事务所(普通合伙)32257代理人冯瑞(51)Int.Cl.G06F40/103(2020.01)G06Q10/10(2012.01)G06Q40/02(2012.01)权利要求书2页说明书11页附图5页(54)发明名称一种自动数据预处理的方法、装置以及设备(57)摘要本发明公开了一种自动数据预处理的方法、装置、设备以及计算机可读存储介质包括：将待处理不良资产包输入自动数据处理系统，读取待处理不良资产包的项目名称；根据项目名称，调用字段统一映射模板文件中待处理不良资产包的数据字段与标准字段的映射关系；将不良资产包中的字段统一映射为字段统一映射模板文件中的标准字段，输出映射后的不良资产包；根据字段统一映射模板文件中数据处理的规则，将映射后的不良资产包中所有非空的单元格进行数据处理，输出处理后的不良资产包。本发明使用自动化的处理方法，提高数据处理的效率，解决了现有技术依靠人力对不同不良资产包数据进行个性化手工处理的弊端，并减少人工处理中可能带来的数据质量问题。CN114139490ACN114139490A权利要求书1/2页1.一种自动数据预处理的方法，其特征在于，包括：构建字段映射模板文件，所述字段映射模板文件包括标准字段与各类不良资产包数据字段的映射关系，以及数据处理的规则；将待处理不良资产包输入自动数据处理系统，读取所述待处理不良资产包的项目名称；根据所述项目名称，调用字段统一映射模板文件中所述待处理不良资产包的数据字段与标准字段的映射关系；根据所述待处理不良资产包的数据字段与标准字段的映射关系，将所述不良资产包中的字段统一映射为所述字段统一映射模板文件中的标准字段，输出映射后的不良资产包；根据所述字段统一映射模板文件中数据处理的规则，将所述映射后的不良资产包中所有非空的单元格进行数据处理，输出处理后的不良资产包。2.如权利要求1所述自动数据预处理的方法，其特征在于，所述字段映射模板文件包括还包括：资产催收概率预测的规则和标准字段的数据类型。3.如权利要求2所述自动数据预处理的方法，其特征在于，所述根据所述字段统一映射模板文件中数据处理的规则，将所述映射后的不良资产包中所有非空的单元格进行数据处理，输出处理后的不良资产包后包括：根据所述字段统一映射模板文件中资产催收概率预测的规则，将所述处理后的不良资产包进行催收概率预测，将催收概率预测结果储存为新的特征变量，输出目标不良资产包，并输出数据质量分析报告。4.如权利要求1所述自动数据预处理的方法，其特征在于，还包括：当增加新类型不良资产包时，将所述新类型不良资产包的数据字段与标准字段的映射关系以及新类型不良资产包的处理规则输入所述字段统一映射模板文件中，便可实现对所述新类型不良资产包进行数据处理。5.如权利要求1所述自动数据预处理的方法，其特征在于，所述将待处理不良资产包输入自动数据处理系统，读取所述待处理不良资产包的项目名称包括：当所述待处理不良资产包是以文件名格式命名时，提取所述不良资产包的文件名称作为项目名称。6.如权利要求1所述自动数据预处理的方法，其特征在于，根据所述待处理不良资产包的数据字段与标准字段的映射关系，将所述不良资产包中的字段统一映射为所述字段统一映射模板文件中的标准字段，输出映射后的不良资产包包括：判断所述待处理不良资产包中的字段是否为所述字段统一映射模板文件中的标准字段；若所述待处理不良资产包中的字段是所述字段统一映射模板文件中的标准字段，则所述待处理不良资产包中的字段保持不变；若所述待处理不良资产包中的字段不是所述字段统一映射模板文件中的标准字段，则将所述待处理不良资产包中的字段映射为标准字段。7.如权利要求1所述自动数据预处理的方法，其特征在于，根据所述字段统一映射模板文件中数据处理的规则，将所述映射后的不良资产包中所有非空的单元格进行数据处理，输出处理后的不良资产包包括：2CN114139490A权利要求书2/2页检测所述映射后的不良资产包中所有非空且非calc开头的单元格，基于所述字段统一映射模板文件中的规则，对所述所有非空且非calc开头的单元格内的数据进行数据清洗，得到数据清洗后的不良资产包；检测所述数据清洗后的不良资产包中所有calc开头的单元格，基于所述字段统一映射模板文件中的规则，对所述所有calc开头的单元格进行特征计算，得到特征计算后的不良资