云端大数据存储管理方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115941708A(43)申请公布日2023.04.07(21)申请号202211373937.4H04L67/06(2022.01)(22)申请日2022.11.04H04L9/40(2022.01)(71)申请人深圳市行云数据技术有限公司地址518000广东省深圳市福田区沙头街道天安社区泰然四路29号天安创新科技广场一期A座303(72)发明人伏铎(74)专利代理机构深圳市育科知识产权代理有限公司44509专利代理师汪剑云(51)Int.Cl.H04L67/1097(2022.01)H04L67/1074(2022.01)H04L67/1008(2022.01)H04L67/10(2022.01)权利要求书3页说明书12页附图3页(54)发明名称云端大数据存储管理方法、装置、电子设备及存储介质(57)摘要本发明涉及云计算技术，揭露一种云端大数据存储管理方法、装置、电子设备及存储介质，所述方法包括：将用户的存储数据切分成待存储数据切片；根据存储服务器中的节点数据计算存储负载，根据存储负载确定存储服务器的负载状况；负载均衡时，随机生成待存储数据切片的切片存储路线；负载失衡时，将存储服务器中数据节点编码为节点编号，将待存储数据切片维度初始化为切片维度值；根据构建的存储目标函数、节点编号及切片维度值计算切片存储路线；根据用户的存储规则及切片存储路线对待存储数据切片规则加密，得到加密切片，根据切片存储路线将加密切片部署在存储服务器的节点上。本发明可以实现云端数据均衡放置，提高数据存储的稳定性。CN115941708ACN115941708A权利要求书1/3页1.一种云端大数据存储管理方法，其特征在于，所述方法包括：接收用户的存储数据，对所述存储数据进行切分，得到多个待存储数据切片；获取预设存储服务器中的节点数据，根据所述节点数据计算所述存储服务器的存储负载，并根据所述存储负载确定所述存储服务器的负载状况；在所述存储服务器的负载状况为负载均衡时，随机生成所述待存储数据切片的切片存储路线；在所述存储服务器的负载状况为负载失衡时，构建存储目标函数并对所述存储服务器中数据节点进行编码，得到节点编号，将所述待存储数据切片作为初始种群进行维度初始化，得到切片维度值；根据所述存储目标函数、所述节点编号以及所述切片维度值进行种群优化计算，得到切片存储路线；根据所述用户的存储规则以及所述切片存储路线对所述待存储数据切片进行规则加密，得到加密切片，并根据所述切片存储路线将所述加密切片部署在所述存储服务器的节点上。2.如权利要求1所述的云端大数据存储管理方法，其特征在于，所述对所述存储数据进行切分，得到多个待存储数据切片，包括：对所述存储数据进行归类处理，得到结构化数据，利用所述结构化数据对所述存储数据进行数据分割，得到初始数据切片；对所述初始数据切片进行聚类拼接，得到待存储数据切片。3.如权利要求1所述的云端大数据存储管理方法，其特征在于，所述根据所述节点数据计算所述存储服务器的存储负载，包括：根据所述节点数据利用下式计算所述存储服务器中每个数据节点的负载量；其中，Lk为第k个数据节点的负载量；Ri为所述数据节点中第i个数据切片；Di为第i个数据切片的数据量；N为所述数据节点中数据切片的总数；利用下式对每个所述数据节点的负载量进行累加计算，得到所述存储服务器的总负载量；其中，L为所述存储服务器的总负载量；Ri为所述数据节点中第i个数据切片；Di为第i个数据切片的数据量；N为所述数据节点中数据切片的总数；M为所述存储服务器中数据节点的总数，k为第k个数据节点；获取所述存储服务器的运行数据，根据所述总负载量以及所述运行数据进行乘性计算，得到所述存储服务器的存储负载。4.如权利要求3所述的云端大数据存储管理方法，其特征在于，所述根据所述总负载量以及所述运行数据进行乘性计算，包括：2CN115941708A权利要求书2/3页利用下式对所述总负载量以及所述运行数据进行乘性计算：其中，Q为所述存储服务器的存储负载；a为所述总负载量在所述存储服务器的磁盘中的占比；u，c，d分别为所述运行数据中的上行速率、下行速率和最大速率。5.如权利要求1所述的云端大数据存储管理方法，其特征在于，所述根据所述存储负载确定所述存储服务器的负载状况，包括：利用下式根据所述存储负载计算基尼系数：其中，Gini为基尼系数；Rk为第k个数据节点；Dk为第k个数据节点的数据量；Rki为第k个数据节点中第i个数据切片；Dki为第k个数据节点中第i个数据切片的数据量；M为所述存储服务器中数据节点的总数；Q为所述存储服务器的存储负载；当所述基尼系数小于或等于预设阈值时，判定所述存储服务器的负载状况为负载均衡；当所述基尼系数大于预设阈值