win7下使用Idea远程连接spark执行sparkpi，我自己的实验

win7下使用Idea远程连接spark执行spark pi，我自己的实验

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站制作、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的蚌埠网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

win7地址为192.168.0.2，ubuntu为虚拟机，地址为192.168.0.3

远程连接spark

源代码语言为：

package main.scala.sogou
/**
  * Created by danger on 2016/9/16.
  */
import org.apache.spark.SparkContext._
import org.apache.spark.{SparkConf,SparkContext}

object RemoteDebug {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://192.168.0.3:7077")
      .setJars(List("D:\\scalasrc\\out\\artifacts\\scalasrc.jar"))
    val spark = new SparkContext(conf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = 100000 * slices
    val count = spark.parallelize(1 to n, slices).map { i =>
      val x = Math.random * 2 - 1
      val y = Math.random * 2 - 1
      if (x * x + y * y < 1) 1 else 0
    }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

你需要修改的地方就是spark://192.168.0.3:7077
还有就是setJars的地址：D:\\scalasrc\\out\\artifacts\\scalasrc.jar

另外我没有Import spark的Math包

所以random用的是Math.random

在run的edit configuration界面中，配置参数

七十主要是mainclass哈

main.scala.sogou.RemoteDebug

单机run 

远程的服务器一阵狂赚，消停后，出现了

Process finished with exit code 0

呵呵，成功了

但结果呢？

网上找，原来在这里

16/09/16 09:40:57 INFO DAGScheduler: ResultStage 0 (reduce at RemoteDebug.scala:19) finished in 75.751 s

16/09/16 09:40:57 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 

16/09/16 09:40:57 INFO DAGScheduler: Job 0 finished: reduce at RemoteDebug.scala:19, took 76.071948 s

Pi is roughly 3.1385

16/09/16 09:40:57 INFO SparkUI: Stopped Spark web UI at http://192.168.0.2:4040

16/09/16 09:40:57 INFO DAGScheduler: Stopping DAGScheduler

16/09/16 09:40:57 INFO SparkDeploySchedulerBackend: Shutting down all executors

16/09/16 09:40:57 INFO SparkDeploySchedulerBackend: Asking each executor to shut down

16/09/16 09:40:57 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!

16/09/16 09:40:57 INFO MemoryStore: MemoryStore cleared

太帅了，成功了，参考http://blog.csdn.net/javastart/article/details/43372977

本文标题：win7下使用Idea远程连接spark执行sparkpi，我自己的实验
链接URL：https://www.cdcxhl.com/article44/jicoee.html

成都网站建设公司_创新互联，为您提供用户体验、、搜索引擎优化、网站策划、建站公司、企业建站

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联