Spark提交作业的示例分析

今天就跟大家聊聊有关Spark提交作业的示例分析，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

成都创新互联公司专注于罗江网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供罗江营销型网站建设，罗江网站制作、罗江网页设计、罗江网站官网定制、小程序设计服务，打造罗江网络公司原创品牌,更为您提供罗江网站排名全网营销落地服务。

初尝试

cd software/spark-3.0.1-bin-hadoop2.7

1. 启动 master

./sbin/start-master.sh

访问 http://localhost:8080 得到 spark://MacBook-Pro-2.local:7077

2. 启动 Worker

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MacBook-Pro-2.local:7077

访问 http://localhost:8081 可查看提交的作业

3. 提交作业

./bin/spark-submit --master spark://MacBook-Pro-2.local:7077 --class morning.cat.SparkTest /Users/morningcat/Documents/java-project/spark-demo/out/artifacts/spark_demo_jar/spark-demo.jar

package morning.cat;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.rdd.RDD;

public class SparkTest {

    public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("SparkTest").setMaster("spark://MacBook-Pro-2.local:7077");
        SparkContext sparkContext = new SparkContext(sparkConf);
        RDD<String> rdd = sparkContext.textFile("/Users/morningcat/Documents/settings.xml", 1);
        long lineCount = rdd.count();
        System.out.println(lineCount);
    }
}

看完上述内容，你们对Spark提交作业的示例分析有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。

新闻标题：Spark提交作业的示例分析
URL网址：https://www.cdcxhl.com/article18/jhdegp.html

成都网站建设公司_创新互联，为您提供面包屑导航、网站导航、网站设计、商城网站、用户体验、域名注册

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联