一种可灵活配置的数据全过程处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113962335A(43)申请公布日2022.01.21(21)申请号202111575070.6G06F17/16(2006.01)(22)申请日2021.12.22G06F111/10(2020.01)(71)申请人北京恒信启华信息技术股份有限公司地址100193北京市海淀区东北旺北京中关村软件园孵化器2号楼二层2220室(72)发明人梁志强段自川赵晓旭郑帅尚俊成汪成鸽刘晓星(74)专利代理机构北京鼎德宝专利代理事务所(特殊普通合伙)11823代理人牟炳彦(51)Int.Cl.G06K9/62(2022.01)G06F16/215(2019.01)G06F30/20(2020.01)权利要求书2页说明书7页附图1页(54)发明名称一种可灵活配置的数据全过程处理方法(57)摘要本发明提供了一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。CN113962335ACN113962335A权利要求书1/2页1.一种可灵活配置的数据全过程处理方法，其特征在于：首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。2.如权利要求1所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述方法包括以下步骤：S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。3.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于,所述步骤S2具体包括：将采集到的数据用集合表示，其中，表示第i个数据，N表示数据个数；对集合进行分组编码，即按顺序对集合根据交织准则构造矩阵，可表示为：其中，m，n为分组编码后矩阵D的行数与列数，且N=m╳n。4.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S2具体包括：通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。5.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S3具体包括：根据用户具体需求，通过构造权重数学模型，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；构建权重数学模型为：其中，A表示为用户对数据要求的所有可能数据矩阵，，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分，表示为模型输出矩阵集合。6.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤2CN113962335A权利要求书2/2页S3具体包括：对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析。3CN113962335A说明书1/7页一种可灵活配置的数据全过程处理方法技术领域[0001]本发明涉及数据处理技术领域，尤其涉及一种可灵活配置的数据全过程处理方法。背景技术[0002]随着科技的进步以及业务系统的复杂化，各行业领域产生的数据量越来越大，进而对数据处理的要求越来越高，针对不同领域的不同数据有许多梳理方法，例如分类、回归、聚类、相似匹配、频繁项集、统计描述、链接预测、数据压缩、因果分析、图解法等，在王宗友等的公开号为“CN113255014A”“一种基于区块链的数据处理方法以及相关设备”中利用区块链进行数据处理，降低区块链权限管理难度，同时提高网络安全性。[0003]但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂。发