一种基于大数据的分析系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108334599A(43)申请公布日2018.07.27(21)申请号201810096702.2(22)申请日2018.01.31(71)申请人佛山市聚成知识产权服务有限公司地址528000广东省佛山市禅城区季华西路133号3座12层06单元(72)发明人李永敢(74)专利代理机构佛山市智汇聚晨专利代理有限公司44409代理人张艳梅(51)Int.Cl.G06F17/30(2006.01)G06Q30/02(2012.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于大数据的分析系统(57)摘要本发明实施例提供了一种基于大数据的分析系统，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算处理。应用本发明的实施例，可以根据基于大数据的分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。CN108334599ACN108334599A权利要求书1/1页1.一种基于大数据的分析系统，其特征在于，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算获得增量数据以及计算出所述大数据计算的增量输出结果。2.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述数据采集模块采用SAS网络爬虫进行数据的采集。3.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述数据采集，通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。4.根据权利要求3所述的一种基于大数据的分析系统，其特征在于，所述数据过滤是采用布隆过滤器，对所采集到的数据进行过滤。5.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述数据分析系统包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。6.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述操作系统为Linux操作系统。7.根据权利要求5所述的一种基于大数据的分析系统，其特征在于，所述网络服务器连接所述数据库的数量为6个至10个。8.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述云计算中，所述必要数据包括完整输入、完整输出中的至少一项，所述增量传递规则用于以数据为粒度描述所述每一个计算步骤根据所述每一个计算步骤的增量输入和所述每一个计算步骤需要保存的必要数据计算所述每一个计算步骤的增量输出的计算规则，所述每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据所述每一个计算步骤的增量传递规则进行保存；根据所述增量输出结果与所述大数据计算的原始输出结果，确定最终计算结果。2CN108334599A说明书1/4页一种基于大数据的分析系统技术领域[0001]本发明涉及电子技术领域，尤其涉及一种基于大数据的分析系统。背景技术[0002]近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。[0003]大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。[0004]大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是