windows基于docker下的spark开发环境搭建

docker toolbox

从事香港机房服务器托管，服务器租用，云主机，网站空间，域名与空间，CDN，网络代维等服务。

https://www.docker.com/products/docker-toolbox

spark

https://hub.docker.com/r/singularities/spark/~/dockerfile/

# start-hadoop-namenode

# hadoop fs -mkdir /user

# hadoop fs -mkdir /user/root/

# hadoop fs -put ./README.md /user/root

# start-spark

# start-spark worker [master]

# spark-shell

# spark-shell --master spark://a60b8c8f9653:7077

scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")

scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")

lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24

scala> lines.count()

res0: Long = 104

scala> lines.saveAsTextFile("hdfs:///user/root/README2.md")  // 保存到hdfs

新闻标题：windows基于docker下的spark开发环境搭建
分享链接：https://www.cdcxhl.com/article48/ieecep.html

成都网站建设公司_创新互联，为您提供云服务器、软件开发、建站公司、网站排名、面包屑导航、微信小程序

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联