数据处理方法、装置、电子设备和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114169004A(43)申请公布日2022.03.11(21)申请号202111505742.6(22)申请日2021.12.10(71)申请人泰康保险集团股份有限公司地址100031北京市西城区复兴门内大街156号申请人泰康在线财产保险股份有限公司(72)发明人程战战(74)专利代理机构隆天知识产权代理有限公司72003代理人石海霞郑特强(51)Int.Cl.G06F21/62(2013.01)权利要求书2页说明书16页附图5页(54)发明名称数据处理方法、装置、电子设备和计算机可读存储介质(57)摘要本公开提供一种数据处理方法、装置以及电子设备和计算机可读存储介质，包括：获取目标数据表，目标数据表中包括多条记录；根据时间戳将多条记录进行划分以确定多条第一记录和多条第二记录；确定针对目标数据表的目标抽样记录数，并根据目标抽样记录数确定针对多条第一记录的第一抽样记录数和针对第二记录的第二抽样记录数；根据第一抽样记录数对第一记录进行分片抽样处理，以获得第一抽样记录；根据第二抽样记录数对第二记录进行分片抽样处理，以获得第二抽样记录；对第一抽样记录和第二抽样记录进行敏感字段检索以确定第一敏感字段，以便通过第一敏感字段对目标数据表进行去敏处理。本公开提供的方案能够快速且高效的对目标数据表进行去敏处理。CN114169004ACN114169004A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：获取目标数据表，所述目标数据表中包括多条记录；根据时间戳将所述多条记录进行划分以确定多条第一记录和多条第二记录，其中各个第一记录的时间戳均早于各个第二记录的时间戳；确定针对所述目标数据表的目标抽样记录数，并根据所述目标抽样记录数确定针对所述多条第一记录的第一抽样记录数和针对所述第二记录的第二抽样记录数，所述第一抽样记录数小于所述第二抽样记录数；根据所述第一抽样记录数对所述第一记录进行分片抽样处理，以获得第一抽样记录；根据所述第二抽样记录数对所述第二记录进行分片抽样处理，以获得第二抽样记录；对所述第一抽样记录和所述第二抽样记录进行敏感字段检索以确定第一敏感字段，以便通过所述第一敏感字段对所述目标数据表进行去敏处理。2.根据权利要求1所述方法，其特征在于，所述第一敏感字段包括目标敏感字段，所述第一抽样记录或所述第一抽样记录包括目标抽样记录，所述目标敏感字段是在所述目标抽样记录中检索到的敏感字段；其中，通过所述第一敏感字段对所述目标数据表进行去敏处理，包括：确定所述第一敏感字段在所述目标抽样记录中的目标位置信息；根据所述目标位置信息对所述多条记录中目标位置处的字段进行去敏处理。3.根据权利要求1所述方法，其特征在于，所述数据处理方法还包括：确定所述目标数据表中的记录不携带时间戳；根据所述目标抽样记录数对所述目标数据表中的多条记录进行分片抽样处理，以获得第三抽样记录；对第三抽样记录进行敏感字段检索以确定第二敏感字段，以便通过所述第二敏感字段对所述目标数据表进行去敏处理。4.根据权利要求1所述方法，其特征在于，确定针对所述目标数据表的目标抽样记录数，包括：确定针对所述目标数据表的抽样置信度、抽样容忍误差以及抽样偏差概率；根据所述抽样置信度、所述抽样容忍误差以及所述抽样偏差概率确定针对所述目标数据表的所述目标抽样记录数。5.根据权利要求4所述方法，其特征在于，数据表类型包括有特征数据表类型和无特征数据表类型；其中，根据所述抽样置信度、所述抽样容忍误差以及所述抽样偏差概率确定针对所述目标数据表的所述目标抽样记录数，包括：根据所述抽样置信度、所述抽样容忍误差以及所述抽样偏差概率确定针对所述目标数据表的候选抽样记录数；确定所述目标数据表的数据表类型；根据所述目标数据表的数据包类型和所述候选抽样记录数确定所述目标数据表的目标抽样记录数，以使得有特征数据表类型的目标数据表的抽样记录数小于无特征数据表类型的目标数据表的抽样记录数。6.根据权利要求5所述方法，其特征在于，根据所述目标数据表的数据包类型和所述候选抽样记录数确定所述目标数据表的目标抽样记录数，以使得有特征数据表类型的目标数2CN114169004A权利要求书2/2页据表的抽样记录数小于无特征数据表类型的目标数据表的抽样记录数，包括：若所述数据表类型指示所述目标数据表是有特征数据表，则令所述候选抽样记录数减去第一值，以作为所述有特征数据表的目标抽样记录数；若所述数据表类型指示所述目标数据表是无特征数据表，则令所述候选抽样记录数加上第二值，以作为所述无特征数据表的目标抽样记录数。7.根据权利要求1所述方法，其特征在于，根据所述第一抽样记录数对所述第一记录进行分片抽样处理，以获得第一抽样记录，包括：确定针对所述第一记录的抽