Spark实践-客户端使用spark-submit提交-创新互联

一、客户端提交spark应用程序

创新互联公司是一家专注于做网站、网站制作与策划设计,玉龙网站建设哪家好?创新互联公司做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:玉龙等地区。玉龙做网站价格咨询:13518219792

是指在spark集群之外的机器，提交spark应用程序到spark集群运行。

二、spark-submit提交程序语法

使用spark-submit工具提交Spark应用程序的语法：

./bin/spark-submit \

--class <main-class> \

--master <master-url> \

--deploy-mode <deploy-mode> \

--conf <key>=<value> \

... # other options

<application-jar> \

[application-arguments]

--class 应用程序的入口类名；

--master spark 集群的url；

--deploy-mode 部署方式；

--conf 应用程序的sparkContext配置选项；

--application-jar 外部依赖；

--application-arguments 应用程序参数； 

三、在客户端使用spark-submit提交spark应用程序时需要注意的事项

1）、客户端机器与spark集群必须互相知道，即相互ping得通；

2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；

3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站名称：Spark实践-客户端使用spark-submit提交-创新互联
分享网址：https://www.cdcxhl.com/article14/jggde.html

成都网站建设公司_创新互联，为您提供服务器托管、网站收录、电子商务、自适应网站、网站维护、网站导航

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联