基于内存计算的大数据分布式数据交互系统的实现方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106991125A(43)申请公布日2017.07.28(21)申请号201710123816.7(22)申请日2017.03.03(66)本国优先权数据201611261927.62016.12.30CN(71)申请人吕骏地址518000广东省深圳市福田区凯丰路30号汇龙花园13栋文龙701(72)发明人吕骏(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248代理人于标(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书4页附图1页(54)发明名称基于内存计算的大数据分布式数据交互系统的实现方法(57)摘要本发明提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，该实现方法包括：交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点接收查询客户端发送的查询请求，底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。本发明的有益效果是：本发明是基于内存、数据访问为中心设计发明的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。CN106991125ACN106991125A权利要求书1/1页1.一种基于内存计算的大数据分布式数据交互系统的实现方法，其特征在于，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。2.根据权利要求1所述的实现方法，其特征在于，所述交互子节点为多个。3.根据权利要求1所述的实现方法，其特征在于，所述交互子节点的存储器包括内存、SSD或硬盘。4.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括索引数据。5.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括心跳检测数据。6.一种基于内存计算的大数据分布式数据交互系统，其特征在于，包括：交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。7.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互子节点为多个。8.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互子节点的存储器包括内存、SSD或硬盘。9.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互系统主控器包括索引数据。10.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互系统主控器包括心跳检测数据。2CN106991125A说明书1/4页基于内存计算的大数据分布式数据交互系统的实现方法技术领域[0001]本发明涉及数据处理技术领域，尤其涉及一种基于内存计算的大数据分布式数据交互系统的实现方法。背景技术[0002]大数据时代，数据的快速生成，快速交易，传统的数据交换体系在快速处理数据时往往显得力不从心。[0003]传统的数据交换体系主要依赖与传统的存储系统，传统存储系统最大的瓶颈就是I\O，多而频繁的交互，导致传统存储系统性能直线下降；传统的存储系统，虽然可以通过并行，虚拟化等方式来规避瓶颈，但是其成本也是异常的昂贵；传统的数据交换体系，最大的问题在于不同文件系统间的数据无法进行直接交互，必须要通过其他繁琐的方式来进行交互。发明内容[0004]本发明提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互