数据快速清理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107193988A(43)申请公布日2017.09.22(21)申请号201710395112.5(22)申请日2017.05.30(71)申请人梅婕地址225500江苏省泰州市姜堰区南苑新村18号楼203室(72)发明人梅婕(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书2页(54)发明名称数据快速清理方法(57)摘要本发明公开了一种数据快速清理方法,包含在线数据的清理、在线描述数据文件的有序化处理、离线数据清理、离线描述数据文件的有序化处理、数据再编码和冗余数据清除这些步骤。本发明的数据快速清理方法将在线数据和离线数据分开分别处理，将待处理数据分批存储在网络数据库中，通过对描述数据文件的有序标识实现对基础数据文件的有序存储，同时在整理数据的同时还对基础数据文件和描述数据文件进行验证，删除不需要的数据，从而优化数据环境，也大大提高了数据的清理效率。CN107193988ACN107193988A权利要求书1/1页1.一种数据快速清理方法，其特征在于，包含如下步骤：①在线数据的清理：将在线数据作为目标数据导入多个在线数据库，将在线数据进行标记识别，分为基础数据文件和描述数据文件，通过对描述数据文件进行数据验证，进而实现对基础数据文件的验证；②在线描述数据文件的有序化处理：将基础数据文件对应的描述数据文件创建文件名，文件名为十六进制编码，十六进制编码的文件名末尾设置四个数位用于标记描述数据文件所在数据库中的位置；③离线数据清理：将离线数据作为目标数据导入多个网络数据库，将数据库中的离线数据进行标记识别，分为基础数据文件和描述数据文件，通过对描述数据文件进行数据验证，进而实现对基础数据文件的验证；④离线描述数据文件的有序化处理：将基础数据文件对应的描述数据文件创建文件名，文件名为十六进制编码，十六进制编码的文件名末尾设置四个数位用于标记描述数据文件所在数据库中的位置；⑤数据再编码：将离线、在线描述数据文件按由小到大或由大到小的顺序排序并将描述数据文件对应的基础数据文件进行网络数据库位排序，使得具有相同或相应网络存储位置的基础数据文件优化存储单元；⑥冗余数据清除：通过多数据库同时处理的方法对各个网络数据库内的基础数据文件和对应的描述数据文件进行数据验证，重复、过期、错误数据及时清除并做清理历史标记。2CN107193988A说明书1/2页数据快速清理方法技术领域[0001]本发明涉及银行数据处理领域，更确切地说，是一种数据快速清理方法。背景技术[0002]现代网络和计算机技术的发展使各行各业的办公系统也越来越多，以及随着各行各业的业务扩展，相对应的所需要的各种系统的功能越来越多以及各系统之间的相互联系也越来越紧密；这样就会出现新的系统取代老的系统或者和一部分取代同时又和另一部分系统共存，多个旧系统的存量数据必须要移植到新的系统中，又由于新系统数据来源多样、种类众多、数量庞大、信息繁多、地域广、参与人员众多、参与人员技术水平参差不齐，为使数据清理工作准确高效完成，就需要有一个数据清理系统。而目前在银行数据处理领域使用的数据清理系统工作效率不高，有待进一步改进。发明内容[0003]本发明主要是解决现有技术所存在的技术问题，从而提供一种数据快速清理方法。[0004]本发明的上述技术问题主要是通过下述技术方案得以解决的：[0005]一种数据快速清理方法，包含如下步骤：[0006]①在线数据的清理：将在线数据作为目标数据导入多个在线数据库，将在线数据进行标记识别，分为基础数据文件和描述数据文件，通过对描述数据文件进行数据验证，进而实现对基础数据文件的验证；[0007]②在线描述数据文件的有序化处理：将基础数据文件对应的描述数据文件创建文件名，文件名为十六进制编码，十六进制编码的文件名末尾设置四个数位用于标记描述数据文件所在数据库中的位置；[0008]③离线数据清理：将离线数据作为目标数据导入多个网络数据库，将数据库中的离线数据进行标记识别，分为基础数据文件和描述数据文件，通过对描述数据文件进行数据验证，进而实现对基础数据文件的验证；[0009]④离线描述数据文件的有序化处理：将基础数据文件对应的描述数据文件创建文件名，文件名为十六进制编码，十六进制编码的文件名末尾设置四个数位用于标记描述数据文件所在数据库中的位置；[0010]⑤数据再编码：将离线、在线描述数据文件按由小到大或由大到小的顺序排序并将描述数据文件对应的基础数据文件进行网络数据库位排序，使得具有相同或相应网络存储位置的基础数据文件优化存储单元；[0011]⑥冗余数据清除：通过多数据库同时处理的方法对各个网络数据库内的基础数据文件和对应的描述数据文件进行数据验证，重复、过期、