预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共22页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114328434A(43)申请公布日2022.04.12(21)申请号202111627050.9(22)申请日2021.12.28(71)申请人阿里巴巴(中国)有限公司地址310052浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室(72)发明人杨濮源黄敏飞董元元庄灿伟(74)专利代理机构北京太合九思知识产权代理有限公司11610代理人刘戈柴艳波(51)Int.Cl.G06F16/182(2019.01)G06F16/13(2019.01)权利要求书2页说明书12页附图7页(54)发明名称数据处理系统、方法、设备及存储介质(57)摘要本申请实施例提供数据处理系统、方法、设备及存储介质。其中,存储集群,部署有分布式文件系统,用于接收计算节点提供的文件句柄编码,并基于所述文件句柄编码执行分布式协议;所述计算节点,其上部署有与分布式文件系统配合工作的转发系统,用于将基于外部设备提供的读写请求确定的所述文件句柄编码发送给所述存储集群。在对目标数据执行分布式数据处理的时候,计算节点只负责数据读写请求的转发,不会占用计算节点的计算资源,能够有效解决计算节点的计算资源竞争问题,以及减轻计算节点与存储集群之间进行数据传输的网络带宽的需求。CN114328434ACN114328434A权利要求书1/2页1.一种数据处理系统,包括:存储集群,部署有输入输出节点,以及被封装于所述输入输出节点的分布式文件系统,用于接收计算节点提供的文件句柄编码,并基于所述文件句柄编码执行分布式协议;所述计算节点,其上部署有与分布式文件系统配合工作的转发系统,用于将基于外部设备提供的读写请求确定的所述文件句柄编码发送给所述存储集群。2.根据权利要求1所述的系统,所述输入输出节点用于接收用户通过所述计算节点发送的数据写请求;以及,通过自身部署的所述分布式文件系统,对所述数据写请求指向的目标数据进行分布式文件处理;所述输入输出节点用于根据处理结果,生成所述目标数据对应的文件句柄编码;针对所述文件句柄编码向所述计算节点反馈信息,以便所述计算节点生成所述目标数据对应的目标文件句柄用于提供给用户。3.根据权利要求1所述的系统,所述输入输出节点用于接收计算节点发送的文件句柄编码;其中,文件句柄编码由所述计算节点基于用户发送的读写请求确定;根据所述文件句柄编码,确定文件句柄;以及通过自身部署的所述分布式文件系统查找所述文件句柄对应的目标数据;对所述目标数据进行读写操作。4.根据权利要求2或3所述的系统,所述存储集群中还包括:分布式存储节点集群;所述分布式文件系统接收到所述数据写请求后,所述分布式文件系统还用于通过所述分布式存储节点集群执行对所述目标数据的副本数据的分布式文件处理。5.根据权利要求4所述的系统,若所述输入输出节点根据所述文件句柄编码未确定所述文件句柄,则通过所述分布式存储节点集群根据所述文件句柄编码对应的计算节点标识,为所述目标数据重新分配有效文件句柄;将所述有效文件句柄发送给有效输入输出节点。6.根据权利要求5所述的系统,所述有效输入输出节点还用于根据有效文件句柄,生成有效文件句柄编码;将所述有效文件句柄编码发送给所述计算节点。7.根据权利要求2所述的系统,所述输入输出节点用于按照所述文件句柄编码的编码顺序,执行对所述目标数据的分布式文件处理。8.根据权利要求1所述的系统,所述计算节点用于接收用户发送的读写请求;根据所述读写请求,确定文件句柄编码;将所述文件句柄编码发送至所述存储集群,以便所述存储集群通过自身部署分布式文件系统查找所述文件句柄编码对应的目标数据,并对所述目标数据进行读写操作。9.根据权利要求8所述的系统,所述计算节点还用于根据所述读写请求,确定对应目标数据的文件句柄;根据所述文件句柄,确定所述文件句柄编码。10.根据权利要求8所述的系统,所述计算节点还用于若所述文件句柄编码失效,则基于所述读写请求中携带的计算节点标识从所述存储集群中获取为所述目标数据重新分配的有效文件句柄;根据所述有效文件句柄,确定有效文件句柄编码。11.一种数据处理方法,应用于计算节点,所述方法包括:2CN114328434A权利要求书2/2页接收用户发送的读写请求;根据所述读写请求,确定文件句柄编码;将所述文件句柄编码发送至存储集群,以便所述存储集群通过自身部署分布式文件系统查找所述文件句柄编码对应的目标数据,并对所述目标数据进行读写操作。12.一种数据处理方法,应用于存储集群,所述方法包括:接收计算节点发送的文件句柄编码;其中,文件句柄编码由所述计算节点基于用户发送的读写请求确定;根据所述文件句柄编码,确定文件句柄;通过自身部署分布式文件系统查找所述文件句柄对应的目标数据;对所述目标数