一种读取对象存储系统中数据的方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106202220A(43)申请公布日2016.12.07(21)申请号201610490651.2(22)申请日2016.06.28(71)申请人北京百迈客云科技有限公司地址101300北京市顺义区南法信镇顺平路南法信段9号院1幢8层807室(72)发明人郑洪坤李明华刘戈杨峻张增金(74)专利代理机构北京路浩知识产权代理有限公司11002代理人李相雨(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书5页附图1页(54)发明名称一种读取对象存储系统中数据的方法以及装置(57)摘要本发明公开一种读取对象存储系统中数据的方法以及装置。其中，所述方法包括：将所述对象存储系统挂载到内核fuse模块在用户空间创建的用户空间文件系统中；针对每个客户端配置相应的映射文件，并根据所述映射文件及具体的文件操作生成所述对象存储系统中存储对象的属性信息；根据所述存储对象的属性信息通过rest服务接口从所述对象存储系统的存储区中请求数据资源，从而实现数据的读取。通过本发明，减轻了原有基础架构对于存储的压力，优化了计算节点的处理流程。CN106202220ACN106202220A权利要求书1/1页1.一种读取对象存储系统中数据的方法，其特征在于，所述方法包括：将所述对象存储系统挂载到内核fuse模块在用户空间创建的用户空间文件系统中；针对每个客户端配置相应的映射文件，并根据所述映射文件及具体的文件操作生成所述对象存储系统中存储对象的属性信息；根据所述存储对象的属性信息通过rest服务接口从所述对象存储系统的存储区中请求数据资源，从而实现数据的读取。2.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，所述对象存储系统包括S3对象存储系统和OSS对象存储系统。3.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，所述映射文件包括文件名与存储对象名一一对应的映射关系列表。4.根据权利要求2所述的读取对象存储系统中数据的方法，其特征在于，所述方法还包括：在所述内核fuse模块在用户空间创建用户空间文件系统时，通过参数配置选择对象存储系统类别和数据中心。5.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，将所述对象存储系统挂载到内核fuse模块在用户空间创建的用户空间文件系统中，包括：通过rest服务和所述内核fuse模块将所述对象存储系统以文件系统的形式挂载到用户空间文件系统中。6.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，所述根据所述存储对象的属性信息通过rest服务接口从所述对象存储系统的存储区中请求数据资源，从而实现数据的读取，包括：根据所述存储对象的属性信息通过rest服务接口从所述对象存储系统的存储区中并发请求分块数据资源，并按序列将分块数据资源进行拼装，得到完整的数据。7.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，所述方法还包括：限制每个客户端对所述对象存储系统中数据的使用权限。8.根据权利要求1所述的读取对象存储系统中数据的方法，其特征在于，所述对象存储系统包括公共数据资源，其中，所述公共数据资源面向每个客户端。9.一种读取对象存储系统中数据的装置，其特征在于，所述装置包括：挂载单元，用于将所述对象存储系统挂载到内核fuse模块在用户空间创建的用户空间文件系统中；配置单元，用于针对每个客户端配置相应的映射文件，并根据所述映射文件及具体的文件操作生成所述对象存储系统中存储对象的属性信息；读取单元，用于根据所述存储对象的属性信息通过rest服务接口从所述对象存储系统的存储区中请求数据资源，从而实现数据的读取。10.根据权利要求9所述的读取对象存储系统中数据的装置，其特征在于，所述对象存储系统包括S3对象存储系统和OSS对象存储系统。2CN106202220A说明书1/5页一种读取对象存储系统中数据的方法以及装置技术领域[0001]本发明涉及数据读取领域，具体地，涉及一种读取对象存储系统中数据的方法以及装置。背景技术[0002]随着高通量测序技术的不断发展，生物信息数据正以爆炸式速度增长。生物大数据包罗信息多、价值大，如能有效挖掘，对科研、医药、健康、卫生等各方面都将产生深刻的影响。根据IDC监测，全球在2010年正式进入ZB时代，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35ZB的数据量，届时人类社会将真正进入大数据服务时代。在数据爆炸式增长的同时，如何对这些数据进行存储和有效利用也是个极具挑战的问题。[0003]然而，传统的基础架构已经很难存储这些大规模的数据，对基础架构的扩充和维护也