基于云计算的移动互联网大数据用户行为分析引擎设计.pdf

万方数据
／●⋯糍苁黼赫驰用基于云计算的移动互联网大数据用户行为分析引擎设计年MobileComputingDesignofInternetBigUserBehaviorAnalysisEngineBasedCloudData引言司全面介人，终端厂商也基于应用商店模式快速加入移动陶彩霞。谢晓军。陈康。郭利荣，刘春(中国电信股份有限公司广东研究院广州510630)Xiaojun，Chen从2010年开始，国内移动互联网进入快速发展阶段，领先的电信运营商开始布局移动互联网，同时，互联网公互联网领域。根据艾瑞咨询发布的数据。全球移动互联网用户数正呈爆发式增长．2014年全球移动互联网用户数有望达到14亿。然而在数据流量快速增长的同时，电信运营商却出现数据业务收入增速放缓的困境，面临被管道化的威胁。为应对移动互联网带来的挑战。中国电信提出了从话务量经营转向流量经营的战略目标，从传统的注重用户规模转变为注重流量发展。运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律。发现用户潜在流量使用需求．是提升流量规模和价值、提高流量经营水平的有效手段。摘要：随着移动互联网的迅速发展，运营商面I临的竞争日益激烈，流量经营势在必行．基于用户行为分析的精确营销是重要手段。但在大数据时代，随着移动互联网业务和用户数量的快速增长，传统的架构难以适应海量数据挖掘的要求。本文提出了一种基于云计算的移动互联网大数据用户行为分析引擎解决方案，包括系统总体架构设计、大数据入库与预处理组件、大数据用户行为分析模型等关键模块的设计，最后分析了系统测试效果。关键词：云计算；大数据；移动互联网；用户行为分析；MapReduce；应用平台；DPIdoi：10．39690．issn．1000—0801．2013．03．006on(Guangdong10630，China)1TaoCaixia，XieKang，GuoLirong，LiuChuntra伍ccomponents．Additionally，the+国家“863”计划基金资助项目(No．2012AAl2A203)ResearchInstituteChinaTelecomCo．，Ltd．，Guangzhou5Abstract：Alongwiththerapiddevelopmentmobileinternet，telecomfaceincreasinglycompetition．Sooperationsfortelecomoperators，andprecisemarketingbasedbehavioranalysisimportantmeans．Butinbigdata，withandnumberusers，thetraditionalarchitectureisdifficultadaptrequirementsmassdatamining．AdesigninternetenginecloudcomputingWasprovided，includingoverallsolution，fileloadingcomponentsmodelresultssystemperformanceanalyzed．Keywords：cloudcomputing，bigdata,mobileintemeLanalysis，MapReduce，applicationplatform,DPIoperatorsimperativegrowthservicetotestwereanareuserallera
万方数据
。E割(应用平台分析结羹甲果导?。r-分析结果亨009：>掣。LL蚓■压i两l(渊数据入库组件)(应用平台数据入库组件)j?整合屡：：-：一：一j籍≤参i菩≥≤贫翁岔管并；＼——1氏I(应用平台分析模型)()2基于云计算的系统总体设计方案透竺里竺!鍪塑岁’：一～一一一～一茫趸潼一一?’i一=一。Y、Jj．：：二：：二二二二二二二：二c二c二二二二二：二：二二：二：然而随着移动互联网的迅速发展，用户行为分析面临着新的挑战：一是移动互联网新业务、新产品“短、平、快”的特征．要求运营商支持快速变化的营销活动；二是随着移动互联网业务及终端、传感器技术发展带来的数据量的急剧膨胀，需要分析和处理的数据规模从GB级迈向TB级甚至PB级。传统的数据分析架构已经不能适应这种海量数据处理和快速、深度挖掘的需求．迫切需要引入大规模并行处理技术和分布式架构，构建基于云计算的移动互联网用户行为分析引擎系统。以应对移动互联网大数据时代的挑战。系统总体技术架构本文设计的移动互联网用户行为分析引擎通过云计算技术实现分布式并发的大规模计算能力，构建移动互联网端到端的大数据挖掘分