基于sentinel的高性能的海量数据集群限流方法和系统.pdf
元枫****文章
在线预览结束,喜欢就下载吧,查找使用更方便
相关资料
基于sentinel的高性能的海量数据集群限流方法和系统.pdf
本专利提供基于sentinel的高性能的海量数据集群限流方法和系统,方法包括:(1)将多个平台的数据都单独分开,这样实现了并发运行,对各个平台的生产者进行定时调度;(2)当调用生产者时,每个平台都有自己的生产者,生产者查询数据时,查询数据库的数据是不同的,控制并发同时进行多个平台查询操作;(3)当平台生产数据后,然后将其发到消息中间件上,消息中间件将生产者传来的数据转发到对应队列绑定的消费者上,实现同个平台生产的数据并发消费;(4)消费者收到消息中间件传来的数据后,根据传来的数据来封装请求来调用第三方接口
一种基于海量数据的字段级标签标注方法和系统.pdf
本申请公开了一种基于海量数据的字段级标签标注方法和系统,该方法包括:创建数据标签模型库;获取业务数据,根据所述标签模型库,对所述业务数据进行标签关联,得到绑定有数据标签的标签业务数据;将所述标签业务数据存放到数据库中,得到标签业务数据库。本发明的方法实现了对业务数据的快速、高效的字段级数据标签标注;业务人员通过本方法可以自主快速的对大量业务数据的标签化,为业务提供标签分析支持;实现了数据标签的动态管理、标签业务数据绑定、标签快速检索的闭环,并且提供了界面化的标签制定流程。
一种基于Hadoop的海量矢量数据划分方法及系统.pdf
本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括:基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码;通过Map函数和Reduce函数实现空间要素的键值化,并生成空间数据样本信息集;根据所述空间数据样本信息集生成空间数据划分矩阵;根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中,同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的
一种基于对象存储的海量数据备份方法及系统.pdf
本发明公开了一种基于对象存储的海量数据备份方法及系统,属于数据备份技术领域,包括以下步骤:步骤1、计算服务器承载的最大进程数N;步骤2、创建备份进程并生成与其相对应的备份策略;步骤3、将步骤2中的备份策略拆分若干备份子任务,并创建备份子任务相对应的子任务进程;步骤4、子任务进程执行与其对应的备份策略,将对象存储中的数据备份至后端存储服务器;步骤5、备份任务完成后,释放子任务进程和备份进程资源。该基于对象存储的海量数据备份方法及系统,有效的提高每个子任务进程整体并发性能,有效地促进了整体上多进程架构的性能及
基于海量数据进行终端信息提取的方法、系统和电子设备.pdf
本发明提供了一种基于海量数据进行终端信息提取的方法、系统和电子设备,涉及数据挖掘的技术领域,该方法包括:首先对预先获取的待分析的网络流量进行协议栈解析,生成待提取的非结构化数据;然后对非结构化数据进行解析和匹配处理,提取终端信息;终端信息包括终端设备特征信息和位置信息;其中,终端设备特征信息包括:MAC类别;位置信息包括终端设备的经纬度。通过上述方法解决了现有技术中存在的信息提取效率低、准确率低的技术问题,达到了提高信息提取效率、提高准确率的技术效果。