如何进行Spark中SparkStreaming的分析

今天就跟大家聊聊有关如何进行Spark中Spark Streaming的分析，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

创新互联是一家专注网站建设、网络营销策划、微信小程序开发、电子商务建设、网络推广、移动互联开发、研究、服务为一体的技术型公司。公司成立十年以来，已经为成百上千成都不锈钢雕塑各业的企业公司提供互联网服务。现在，服务的成百上千客户与我们一路同行，见证我们的成长；未来，我们一起分享成功的喜悦。

概览

Spark Streaming是Spark  API的一个可横向扩容，高吞吐量，容错的实时数据流处理引擎，Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据，然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。计算完后的数据能够被推送到文件系统，数据库，和实时的仪表盘。另外，你也可以使用Spark  ML和图计算处理实时数据流。

Spark Streaming接受到了实时数据后，把它们分批进行切割，然后再交给Spark进行数据的批量处理。

Spark  Streaming对离散化的数据流提供了高级别的抽象DStream，所有进入的数据流都会被处理为DStreams，在内部，DStream是一个顺序排列的RDD。

快速起步

第一个实例是如何从TCP输入中计算单词出现的次数

首先，我们创建一个JavaStreamingContext对象，它是所有Streaming函数的主入口，再创建一个带有2个线程的StreamingContext对象，每1秒进行一次批处理。

import org.apache.spark.*; import org.apache.spark.api.java.function.*; import org.apache.spark.streaming.*; import org.apache.spark.streaming.api.java.*; import scala.Tuple2;  SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount"); JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));

创建一个侦听本地9999的TCP数据源

JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);

我们把接受到的数据按照空格进行切割

JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());

对单词进行统计

JavaPairDStream<String, Integer> pairs = words.mapToPair(s -> new Tuple2<>(s, 1)); JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey((i1, i2) -> i1 + i2);  wordCounts.print();

把字符串拍扁->映射->进行去重统计，***调用print函数把数据打印到控制台中

jssc.start();              // Start the computation jssc.awaitTermination();   // Wait for the computation to terminate

最后，启动整个计算过程

为了完成这次实验，还需要使用nc作为Server进行配合

nc -lk 9999

Spark提供了示例，可以使用 ./bin/run-example streaming.JavaNetworkWordCount localhost  9999 来体验WordCount

看完上述内容，你们对如何进行Spark中Spark Streaming的分析有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。

文章名称：如何进行Spark中SparkStreaming的分析
文章起源：https://www.cdcxhl.com/article20/isjojo.html

成都网站建设公司_创新互联，为您提供面包屑导航、手机网站建设、定制网站、搜索引擎优化、品牌网站制作、软件开发

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联