Spark Streaming.docx

SparkStreaming课程目标掌握SparkStreaming的原理熟练使用SparkStreaming完成流式计算任务SparkStreaming介绍SparkStreaming概述什么是SparkStreamingSparkStreaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，SparkStreaming有高吞吐量和容错能力强等特点。SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外SparkStreaming也能和MLlib（机器学习）以及Graphx完美融合。为什么要学习SparkStreaming易用容错易整合到Spark体系Spark与Storm的对比SparkStorm开发语言：Scala开发语言：Clojure编程模型：DStream编程模型：Spout/BoltDStream什么是DStreamDiscretizedStream是SparkStreaming的基础抽象，代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：对数据的操作也是按照RDD为单位来进行的计算过程由Sparkengine来完成DStream相关操作DStream上的原语与RDD的类似，分为Transformations（转换）和OutputOperations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种Window相关的原语。TransformationsonDStreamsTransformationMeaningmap(func)ReturnanewDStreambypassingeachelementofthesourceDStreamthroughafunctionfunc.flatMap(func)Similartomap,buteachinputitemcanbemappedto0ormoreoutputitems.filter(func)ReturnanewDStreambyselectingonlytherecordsofthesourceDStreamonwhichfuncreturnstrue.repartition(numPartitions)ChangesthelevelofparallelisminthisDStreambycreatingmoreorfewerpartitions.union(otherStream)ReturnanewDStreamthatcontainstheunionoftheelementsinthesourceDStreamandotherDStream.count()ReturnanewDStreamofsingle-elementRDDsbycountingthenumberofelementsineachRDDofthesourceDStream.reduce(func)ReturnanewDStreamofsingle-elementRDDsbyaggregatingtheelementsineachRDDofthesourceDStreamusingafunctionfunc(whichtakestwoargumentsandreturnsone).Thefunctionshouldbeassociativesothatitcanbecomputedinparallel.countByValue()WhencalledonaDStreamofelementsoftypeK,returnanewDStreamof(K,Long)pairswherethevalueofeachkeyisitsfrequencyineachRDDofthesourceDStream.reduceByKey(func,[numTasks])WhencalledonaDStreamof(K,V)pairs,returnanewDStreamof(K,V)pairswherethevaluesforeachkeyareaggregatedusingthegivenreducefunction.Note:Bydefault,thisusesSpark'sdefaultnumberofparalleltasks(2forlocalmode,andin