一种基于分布式系统的数据采集方法及采集系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106484591A(43)申请公布日2017.03.08(21)申请号201610846324.6(22)申请日2016.09.23(71)申请人上海爱数信息技术股份有限公司地址201112上海市闵行区联航路1188号8幢第2层A-1单元(72)发明人谭康(74)专利代理机构上海光华专利事务所31219代理人高园园(51)Int.Cl.G06F11/30(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于分布式系统的数据采集方法及采集系统(57)摘要本发明提供一种基于分布式系统的数据采集方法及采集系统，包括将分布式系统中需要进行数据采集的节点作为采集节点，将采集节点中需要进行数据采集的对象设定为采集子项；采集节点监测自身的各个采集子项，并存储采集子项中发生变化的数据项及变化值标记；在每个轮询时间片，依次轮询各个采集节点，获取采集子项中发生变化的数据及变化值标记；根据采集节点的采集子项中发生变化的数据及变化值标记，在分布式系统数据库中原有采集数据的基础上更新分布式系统数据库。本发明的基于分布式系统的数据采集方法及采集系统降低了节点信息监测的开销，提高了数据采集的效率。CN106484591ACN106484591A权利要求书1/2页1.一种基于分布式系统的数据采集方法，其特征在于：包括以下步骤：将分布式系统中需要进行数据采集的节点作为采集节点，将采集节点中需要进行数据采集的对象设定为采集子项；采集节点监测自身的各个采集子项，并存储采集子项中发生变化的数据项及变化值标记；在每个轮询时间片，依次轮询各个采集节点，获取采集子项中发生变化的数据及变化值标记；根据采集节点的采集子项中发生变化的数据及变化值标记，在分布式系统数据库中原有采集数据的基础上更新分布式系统数据库。2.根据权利要求1所述的基于分布式系统的数据采集方法，其特征在于：所述采集节点采用树形数据结构来存储采集子项中发生变化的数据项及变化值标记；所述树形数据结构依次包括采集节点、采集子项、变化项和变化值四层，所述采集节点为根节点，包括若干个采集子项；每个采集子项包括若干个变化项，所述变化项表示采集子项中发生变化的数据项；每个变化项包括一个对应的变化值；所述变化值用于存储对应变化项变化后的数据项和变化值标记。3.根据权利要求2所述的基于分布式系统的数据采集方法，其特征在于：每个采集节点自身维护有一个数据表，并通过触发器来监听所述数据表中的操作；当所述数据表发生数据变化时，所述触发器将发生变化的数据以及对应的变化值标记存储至所述树形数据结构中。4.根据权利要求2所述的基于分布式系统的数据采集方法，其特征在于：轮询各个采集节点时，所获取的采集子项中发生变化的数据包括：采集节点ID、发生变化的采集子项、采集子项的变化项和变化项的变化值。5.根据权利要求1所述的基于分布式系统的数据采集方法，其特征在于：在对采集节点进行轮询前，还需获取采集节点的授权，以获取采集子项中发生变化的数据及变化值标记；若无法获取采集节点的授权，则不能对该采集节点进行轮询。6.一种基于分布式系统的数据采集系统，其特征在于：包括设定模块、监测存储模块、轮询模块和更新模块；所述设定模块用于将分布式系统中需要进行数据采集的节点作为采集节点，将采集节点中需要进行数据采集的对象设定为采集子项；所述监测存储模块用于通过采集节点监测自身的各个采集子项，并存储采集子项中发生变化的数据项及变化值标记；所述轮询模块用于在每个轮询时间片，依次轮询各个采集节点，获取采集子项中发生变化的数据及变化值标记；所述更新模块用于根据采集节点的采集子项中发生变化的数据及变化值标记，在分布式系统数据库中原有采集数据的基础上更新分布式系统数据库。7.根据权利要求6所述的基于分布式系统的数据采集系统，其特征在于：所述监测存储模块中，所述采集节点采用树形数据结构来存储采集子项中发生变化的数据项及变化值标记；所述树形数据结构依次包括采集节点、采集子项、变化项和变化值四层，所述采集节点为根节点，包括若干个采集子项；每个采集子项包括若干个变化项，所述变化项表示采集子2CN106484591A权利要求书2/2页项中发生变化的数据项；每个变化项包括一个对应的变化值；所述变化值用于存储对应变化项变化后的数据项和变化值标记。8.根据权利要求7所述的基于分布式系统的数据采集系统，其特征在于：每个采集节点自身维护有一个数据表，并通过触发器来监听所述数据表中的操作；当所述数据表发生数据变化时，所述触发器将发生变化的数据以及对应的变化值标记存储至所述树形数据结构中。9.根据权利要求7所述的基于分布式系统的数据采集系统，其特征在于：所述轮询模块中，轮询各个采集节点时，所获取的采集