数据处理方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113536327A(43)申请公布日2021.10.22(21)申请号202010313781.5(22)申请日2020.04.20(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人安金龙(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军张效荣(51)Int.Cl.G06F21/60(2013.01)G06F21/62(2013.01)H04L9/08(2006.01)权利要求书3页说明书11页附图6页(54)发明名称数据处理方法、装置和系统(57)摘要本发明公开了一种数据处理方法、装置和系统，涉及计算机技术领域。该方法的一具体实施方式包括：在数据湖中，划分出敏感数据岛；响应于生产数据库发送的数据写入请求，遍历数据写入请求对应的待存储数据；当遍历的结果指示待存储数据包括敏感数据时，为敏感数据生成对应的密钥；利用密钥加密敏感数据；将加密后的所述敏感数据存储到敏感数据岛，以及将待存储数据中的非敏感数据存储到数据湖中的敏感数据岛之外的存储区域。该实施方式实现了对数据湖中的敏感数据加密存储，从而保证数据湖中敏感数据的安全性。CN113536327ACN113536327A权利要求书1/3页1.一种数据处理方法，其特征在于，包括：在数据湖中，划分出敏感数据岛；响应于生产数据库发送的数据写入请求，遍历所述数据写入请求对应的待存储数据；当遍历的结果指示所述待存储数据包括敏感数据时，为所述敏感数据生成对应的密钥；利用所述密钥加密所述敏感数据；将加密后的所述敏感数据存储到所述敏感数据岛，以及将所述待存储数据中的非敏感数据存储到所述数据湖中的所述敏感数据岛之外的存储区域。2.根据权利要求1所述数据处理方法，其特征在于，进一步包括：设置有多种密钥生成方案；为所述敏感数据生成对应的密钥，包括：从所述多种密钥生成方案中选择目标密钥生成方案；利用所述目标密钥生成方案，为所述敏感数据生成对应的密钥。3.根据权利要求2所述数据处理方法，其特征在于，在为所述敏感数据生成对应的密钥的步骤之后，进一步包括：为所述密钥生成对应的密钥特征标识；将所述密钥与所述密钥特征标识对应存储，并将所述密钥特征标识提供给敏感数据的授权用户；根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。4.根据权利要求3所述数据处理方法，其特征在于，所述密钥特征标识包括敏感数据存储地址信息；根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据的步骤包括：当接收到具有所述密钥特征标识的查询请求时，根据所述密钥特征标识查找密钥，并根据所述敏感数据存储地址信息，查找加密的敏感数据；利用查找到的密钥，对查找到的所述加密的敏感数据进行解密，并将解密得到的敏感数据提供给所述授权用户。5.根据权利要求3所述数据处理方法，其特征在于，所述密钥特征标识进一步包括有解密密钥信息、敏感数据存储地址信息；根据授权用户提供的密钥特征标识，为授权用户提供相应的敏感数据的步骤包括：当接收到具有所述密钥特征标识的查询请求时，解析所述目标加密方案的特征标识包括的敏感数据存储地址信息，并根据所述敏感数据存储地址信息，查找加密的敏感数据；将所述加密的敏感数据发送给所述授权用户，以使所述授权用户所在的终端或服务端解析密钥特征标识包括的解密密钥信息，并利用解析出的解密密钥对所述加密的敏感数据进行解密。6.根据权利要求1所述数据处理方法，其特征在于，所述数据湖部署于集群；所述划分出敏感数据岛的步骤包括：从所述集群中划分出多个敏感数据存储节点，所述多个敏感数据存储节点构成所述敏感数据岛。7.根据权利要求1至5任一所述数据处理方法，其特征在于，进一步包括：设置有规则引擎，其中，所述规则引擎包括配置的敏感用例以及通过机器2CN113536327A权利要求书2/3页学习模型得到的敏感特征；遍历所述数据写入请求对应的待存储数据的步骤包括：通过所述规则引擎读取所述待存储数据，并判断读取到的所述待存储数据中的部分是否满足所述配置的敏感用例或者所述敏感特征，如果是，则确定所述待存储数据中的敏感数据，并将确定出的所述待存储数据中的敏感数据作为遍历的结果。8.一种数据处理装置，其特征在于，包括：遍历单元、加密单元以及存储处理单元，其中，所述遍历单元，用于响应于生产数据库发送的数据写入请求，遍历所述数据写入请求对应的待存储数据；所述加密单元，用于当所述遍历单元遍历的结果包括所述待存储数据中的敏感数据时，为所述敏感数据生成对应的密钥；利用所述密钥加密所述敏感数据；所述存储处理单元，用于在数据湖中，划分出敏感数据岛；将所述加密单元加密后的