基于大数据的离线和实时流计算的数据处理平台.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113821582A(43)申请公布日2021.12.21(21)申请号202110952316.0(22)申请日2021.08.19(71)申请人安徽壹零贰肆加科技有限公司地址230000安徽省合肥市高新区中国(安徽)自由贸易试验区创新大道2800号创新产业园二期J2C座3楼366(72)发明人尹娜(74)专利代理机构合肥铭辉知识产权代理事务所(普通合伙)34212代理人张立荣(51)Int.Cl.G06F16/31(2019.01)G06F16/33(2019.01)权利要求书1页说明书4页附图2页(54)发明名称基于大数据的离线和实时流计算的数据处理平台(57)摘要本发明公开了基于大数据的离线和实时流计算的数据处理平台，涉及大数据平台技术领域。该基于大数据的离线和实时流计算的数据处理平台，包括存储模块、数据输入流模块和服务模块，所述数据输入模块和服务模块均与存储模块系统连接，所述存储模块，用于数据处理平台内部历史全量信息和新入系统信息进行存储，所述数据输入模块，用于数据处理平台与外界大数据的信息交换，进行数据采集，所述服务模块，用于用于将批处理层和快速处理层的结果合并起来。本大明解决了传统数据处理平台对于同一个查询目标，需要分别为批处理层和快速处理层开发不同的算法实现的问题，同时也提高了传统数据处理平台内部信息搜索的延时问题。CN113821582ACN113821582A权利要求书1/1页1.基于大数据的离线和实时流计算的数据处理平台，其特征在于：包括存储模块、数据输入流模块和服务模块，所述数据输入模块和服务模块均与存储模块系统连接，所述存储模块，用于数据处理平台内部历史全量信息和新入系统信息进行存储，所述数据输入模块，用于数据处理平台与外界大数据的信息交换，进行数据采集，所述服务模块，用于用于将批处理层和快速处理层的结果合并起来，给用户或应用程序提供查询服务。2.根据权利要求1所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述输入数据模块包括非实时流处理模块、批处理模块、主数据模块、实时流处理模块、快速处理模块和增量处理模块，所述非实时流处理模块、批处理模块和主数据模块，用于数据处理平台内部主数据即历史全量数据的处理。3.根据权利要求2所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述实时流处理模块、快速处理模块和增量处理模块，用于数据处理平台内部增量数据即新进入系统数据的处理。4.根据权利要求1所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述存储模块包括数据储存端口、分类储存模块、新建指令、时间储存模块、类别储存模块和名词储存模块，所述数据储存端口，用于批处理层和快速处理层的系统连接，使信息流通，所述分类存储模块和新建指令，用于识别存储信息并新建存储文件夹。5.根据权利要求4所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述时间存储模块，用于不同时间流入的信息储存，所述类别存储模块，用于不同类别信息的存储，所述名词储存模块，用于不同名称信息的存储。6.根据权利要求1所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述服务模块包括显示模块、内置搜索引擎和循环搜索指令，所述显示模块，用于数据处理平台内部信息搜索后的观看，所述内置搜索引擎，用于搜索存储模块内部信息，进而对信息进行提取，所述循环搜索指令，用于重复搜索。7.根据权利要求6所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述内置搜索引擎包括时间搜索模块、类别搜索模块和名词搜索模块，所述时间搜索模块，用于搜索数据信息平台不同时间下存储的信息，所述类别搜索模块，用于搜索数据信息平台内部不同类别的信息，所述名词搜索模块，用于搜索数据处理平台内部带有此类名词的信息。8.根据权利要求4所述的基于大数据的离线和实时流计算的数据处理平台，其特征在于：所述时间存储模块、类别存储模块和名词存储模块的搜索优先级为名词存储模块大于类别存储模块大于时间存储模块。2CN113821582A说明书1/4页基于大数据的离线和实时流计算的数据处理平台技术领域[0001]本发明涉及大数据处理技术领域，具体为基于大数据的离线和实时流计算的数据处理平台。背景技术[0002]随着科技化、智能化和数字化的兴起，用户越来越多的行为能够被采集并数字化记录下来，例如：点击行为、购买行为、社交行为、娱乐行为等等，随着记录的行为越来越多，数据量也越来越大，而行为数据往往是随着时间持续变化，无法预测的，且随着用户量的增加，数据往往是爆炸式增长，这对于后期不论是数据使用还是数据的查询，都会产生很大的压力，这就亟需一种能够简化存储的方案，来缓解这种