基于Hadoop的对俄贸易大数据分析系统研究.docx

基于Hadoop的对俄贸易大数据分析系统研究王丽红+刘平+于光华摘要：大数据时代下，进出口企业发展出了跨境电子商务或在线国际贸易的新型虚拟网络贸易平台，需要对海量的贸易数据进行收集并完成处理。为了处理这些海量贸易数据，基于Hadoop大数据分析工具设计并实现了对俄贸易大数据分析处理系统，通过它提供的强大的分布式数据处理能力，高效快捷地分析对俄贸易的各种数据。实验表明该系统能够有效地完成对俄贸易数据处理分析，从海量数据中挖掘到有用信息，从而可靠地、高效地对贸易数据进行存储和分析，帮助企业制订营销计划。关键词：对俄贸易大数据；大数据分析；hadoop；MapReduce：TP319：A：1009-3044（2018）01-0020-03Abstract：Intheeraofbigdata，importandexportenterpriseshavedevelopedanewvirtualnetworktradingplatformforcross-bordere-commerceoronlineinternationaltrade，whichrequiresthecollectionandprocessingofmassivetradedata..Inordertodealwiththemassivetradedata，LargedataanalysisandprocessingsystemforRussiantradewaswasdesignedandimplementedBasedontheHadoop，throughwhichprovidepowerfuldistributeddataprocessingcapabilities，efficientandquickanalysisonRussia'stradeallkindsofdata.ExperimentsshowthatthesystemcaneffectivelycompleteanalysisonRussia'stradedataprocessingtotheusefulinformationfromhugeamountsofdatamining，soastoreliablyandefficientlyfortradedataforstorageandanalysis，tohelpenterprisesmakethemarketingplan.Keywords：BigDataofrussiantrade；BigDataAnalysis；hadoop；MapReduce大數据时代下，信息数据化的同时，更多的企业利用电子商务开展贸易活动。在更少的时间里获取丰富且具有时效性的数据信息，可以提高企业业务处理能力和贸易交易率，为客户和企业带来双赢的便利。黑龙江省的对俄贸易一直引领全国，在“一带一路”发展战略影响下，我省的对俄经贸合作必将进入新一轮峰值期，如何存储、处理海量的贸易数据并监测市场需求使我们面临的新问题。就当前实际情况引入Hadoop来对海量数据进行分析存储[1]。Hadoop是Apache基金的一个开源的大数据处理框架，核心部分由HDFS（分布式文件系统）和MapReduce（并行计算模型）两大模块组成[2]，HDFS可以高效地完成大规模数据集的高效存储，MapReduce将应用程序要处理的工作分成若干小块，是开发人员轻松实现分布式应用程序员。二者的集合使用户可以在上层编写分布式程序而不需要了解其底层的细节情况。可以让使用者充分利用集群的优势进行分布式的高速的存储和运算。HDFS与MapReduce的结合使得Hadoop变得更加强大[3]。本文设计并实现了基于Hadoop的大数据分析系统，用以处理和分析海量的对俄贸易数据，并通过结果为企业提供相关信息。1基于Hadoop的大数据分析系统架构设计1.1系统基本架构基于Hadoop的大数据分析系统按照逻辑分层的方法划分为以下3层[4]，分别是“数据存储层”、“数据处理层”和“应用层”。大数据分析系统架构如图1所示。数据存储层：利用Hadoop分布式文件系统HDFS，根据数据特点和具体业务需求将数据分类存储。大量历史数据经过HIVE管理存储[5]，需要快速查询并响应的数据交给HBASE进行存储划分。将整理后的数据保存成文件存放在HDFS分布式文件系统上，方便数据的处理。数据处理层：这一层是大数据分析系统的核心层，在这一层，主要应用MapReduce编程框架构建分布式处理程序，利用Hadoop的组件执行对应的工作完成大型数据的各种需求分析。数据处理层中的业务逻辑分析模型用以识别业务功能，识别后被分解成相应的任务对HBase进行操作。利用模型库把一些常用的模型和分析结果数据进行固化。中间件通过相应参数对应用层具体需求做出判断