分布式文件系统进行数据处理的方法及该分布式文件系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103577500103577500A(43)申请公布日2014.02.12(21)申请号201210284734.8(22)申请日2012.08.10(71)申请人腾讯科技（深圳）有限公司地址518044广东省深圳市福田区振兴路赛格科技园2栋东403室(72)发明人李锐伍海君朱会灿邓大付邹永强董乘宇阙太富王磊杨绍鹏张书鑫赵大勇刘畅陈晓东张银锋(74)专利代理机构北京德琦知识产权代理有限公司11018代理人周华霞王丽琴(51)Int.Cl.G06F17/30(2006.01)权权利要求书3页利要求书3页说明书6页说明书6页附图3页附图3页(54)发明名称分布式文件系统进行数据处理的方法及该分布式文件系统(57)摘要本发明公开了分布式文件系统进行数据处理的方法及该分布式文件系统，其中，该系统包括节点服务器和多个元信息服务器；所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件，如果有则，将相应文件的文件ID、节点地址和数据块属性信息反馈给元信息服务器。本发明方案能够缩短宕机重启后的恢复时间。CN103577500ACN10357ACN103577500A权利要求书1/3页1.一种分布式文件系统，其特征在于，该系统包括节点服务器和多个元信息服务器；所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器标识ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。2.如权利要求1所述的系统，其特征在于，该系统还包括主节点，用于在本地硬盘上存储文件路径与文件ID之间的第一映射关系，并对应元服务器ID存储文件ID列表，还对应文件ID存储文件属性信息；主节点还用于接收来自元信息服务器的包含元服务器ID的查询请求，确定与元服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，将确定的文件ID列表和文件属性信息反馈给元信息服务器；所述元信息服务器，还用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息。3.如权利要求2所述的系统，其特征在于，所述元信息服务器包括文件信息获取单元和数据块信息获取单元和存储单元；所述文件信息获取单元，用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息，发送给存储单元；所述数据块信息获取单元，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，发送给存储单元；所述存储单元，用于在内存中存储文件ID列表和文件属性信息，以及文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。4.如权利要求3所述的系统，其特征在于，该系统还包括客户端，所述客户端包括上传单元，用于向主节点发送包含文件路径的数据上传请求，并接收主节点反馈的文件ID以及元服务器ID，为文件ID选取节点地址，向节点地址对应的节点服务器上传数据；并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元服务器ID对应的元信息服务器的存储单元；所述主节点，还用于接收数据上传请求，为数据上传请求包含的文件路径确定对应的文件ID，并确定与文件ID对应的元服务器ID，将确定的文件ID和元服务器ID反馈给客户端；所述节点服务器，还用于在本地硬盘上存储接收的第二映射关系和数据块属性信息；所述存储单元，还用于在内存中存储接收的第二映射关系和数据块属性信息。5.如权利要求3所述的系统，其特征在于，所述客户端还包括下载单元，用于向主节点发送包含文件路径的下载请求，并接收主节点反馈的文件ID和元服务器ID，向元服务器ID对应的元信息服务器发送包含文件ID的下载操作指示；并接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息，从与节点地址对应的节点服务器，获取与文件ID对应的数据；2CN103577500A权利要求书2/3页所述主节点，还用于接收下载请求，由下载请求包含的文件路径在