Spark集群部署

Spark集群部署

本次博文希望对各位Spark技术研究者有用。

第四步：创建虚拟机
基于创建的镜像，生成2台虚拟机，加上最开始用于创建镜像的1台，一共3台虚拟主机，名称分别为：
spark_hadoop_master
spark_hadoop_slave1
spark_hadoop_slave2
下面就可以开始做与创建Spark集群相关的操作了。
第五步：设置主机名
1.在/etc/hostname中就改主机名，分别设置三台主机为master、slave1、slave2，并重启

2.重启之后，分别设置三个节点etc/hosts，指定ip和主机名的对应关系。

通过测试root@master :~# ssh slave1，在输入root用户密码后可以登录。
第六步：修改ssh无密码访问
首先开启root用户访问权限
1.修改/etc/ssh/sshd-config文件，设置如下：
2.PermitRootLogin yes
3.PubkeyAuthentication yes
4.PasswordAuthentication yes
重新启动ssh服务：service ssh restart
再进行如下测试，可以免输入密码登录了。

第七步：配置Spark集群
进入Spark的conf目录：

把spark-env.sh.template拷贝为spark-env.sh
把slaves.template拷贝为slaves

vim打开spark-env.sh修改其中的内容，加入以下设置

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.12.154
export SPARK_WORKER_MEMORY=4g
export SCALA_HOME=/usr/lib/scala/scala-2.11.7
export HADOOP_CONF_DIR=/home/supermap/program/hadoop-2.6.3/conf

SPARK_WORKER_MEMORY：制定的Worker节点能够分配给Excutors的内存大小，由于配置的虚拟机是4g内存，为了限度使用内存，这里设置4G。
接下来配置slaves文件，把Workers节点都添加进去：

这种配置把master也作为一个Worker节点。

以上配置在master和slave1，slave2节点都做相同处理。

第八步：启动集群
这里测试没有启动Hadoop集群，只需要Spark集群进行启动即可，在Spark目录下，运行sbin/start-all.sh即可启动集群服务。

最后通过访问spark管理页面查看服务状态