数据分布式存储系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN104123300104123300A(43)申请公布日2014.10.29(21)申请号201310150539.0(22)申请日2013.04.26(71)申请人上海云人信息科技有限公司地址201199上海市闵行区莘松路380号4幢6A室(72)发明人吴朱华潘志铭(74)专利代理机构上海金盛协力知识产权代理有限公司31242代理人王松(51)Int.Cl.G06F17/30(2006.01)权权利要求书2页利要求书2页说明书5页说明书5页附图4页附图4页(54)发明名称数据分布式存储系统及方法(57)摘要本发明揭示了一种数据分布式存储系统及方法，所述系统包括节点集群模块、数据导入模块、存储模块；节点集群模块用以将集群内的数据节点连接对应的管理节点；数据导入模块用以对输入的数据按照设定大小的数据块进行扫描并载入内存，内存中的数据按照数据的特征值将其分组，而后将分组后的数据发送到相应数据节点；存储模块用以在数据节点接收到文件分片后将数据分片保留在内存中，数据节点输出日志至硬盘；判断内存中的数据大小是否超过所设定的阀值，如超过则将数据重新组织，压缩后写入硬盘，并删除对应的用户内存数据恢复的日志文件。本发明可以实现加速基于内存计算能力的集群；可提高对大规模数据的实时加载与处理能力，提升系统的响应时间。CN104123300ACN10423ACN104123300A权利要求书1/2页1.一种数据分布式存储系统，其特征在于，所述系统包括：注册模块，用以通过客户端将集群内的数据节点注册到管理节点；数据导入模块，用以对输入的数据按照设定大小的数据块进行扫描并载入内存，内存中的数据按照数据的特征值将其分组，而后将分组后的数据发送到相应的数据节点；所述数据导入模块具体包括数据切分单元、数据扫描单元、数据分组规则匹配单元、数据分组单元、数据发送单元；所述数据切分单元用以对输入的数据按照设定大小的数据块进行扫描并载入内存；所述数据分组规则匹配单元用以根据不同的数据类型设定不同规则计算数据的特征值；所述数据分组单元用以将内存中经过扫描的设定大小数据块按照数据的特征值进行分组；所述数据发送单元将分组后的数据发送至相应的数据节点；存储模块，用以在数据节点接收到文件分片后将数据分片保留在内存中，判断是否需要将该数据备份到其它数据节点，如需要则通过备份模块进行备份；数据节点输出日志至硬盘，用于数据内存数据恢复；判断内存中的数据大小是否超过所设定的阀值，如超过则将数据按照元数据特征进行归类，经过数据的重新组织后，再进行压缩；对数据的重新组织的方式主要是按照数据的特征值，以及数据间的相似度进行排序，使得最大相似度的数据会连续存放，为下一步的数据压缩存储做准备；经过数据的重新组织以后，由于相似的数据会存放在一起，采用LZAM算法对其压缩，以取得较高的压缩率，然后再后写入硬盘，并删除对应的用户内存数据恢复的日志文件；备份模块，用以在数据传输到相应的数据节点上后，对该数据按照设定的备份数目进行备份，备份的数据将被分发到其它数据节点上；检索模块，用以在管理节点收到数据检索的请求后对相应数据进行检索；检索模块具体包括定位单元、失效判断单元、请求分发单元、检索单元、结果合并单元；管理节点通过定位单元定位数据检索请求所涉及的数据节点；管理节点通过失效判断单元采用Lease机制确定该数据节点是否失效，如失效则直接返回请求失败信息，若有效，管理节点通过请求分发单元分发请求到相应节点；数据节点接收数据检索请求后，通过检索单元对相应数据进行检索后返回结果到客户端；客户端利用结果合并单元将接收到的结果进行合并。2.一种数据分布式存储系统，其特征在于，所述系统包括：节点集群模块，用以将集群内的数据节点连接对应的管理节点；数据导入模块，用以对输入的数据按照设定大小的数据块进行扫描并载入内存，内存中的数据按照数据的特征值将其分组，而后将分组后的数据发送到相应的数据节点；存储模块，用以在数据节点接收到数据分片后将数据分片保留在内存中，数据节点输出日志至硬盘，用于数据内存数据恢复；判断内存中的数据大小是否超过所设定的阀值，如超过则将数据重新组织，压缩后写入硬盘，并删除对应的用户内存数据恢复的日志文件。3.根据权利要求2所述的数据分布式存储系统，其特征在于：所述数据导入模块具体包括数据切分单元、文件扫描单元、数据分组规则匹配单元、数据分组单元、数据发送单元；所述数据切分单元用以对输入的数据按照设定大小的数据块进行扫描并载入内存；所述数据分组规则匹配单元用以根据不同的数据类型设定不同规则计算数据的特征值；所述数据分组单元用以将经过扫描的设定大小的数据块按照数据的特征进行分组；所述数据发送单元将分组后