HADOOP的HA搭建-创新互联

进入到执行：/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml

站在用户的角度思考问题，与客户深入沟通，找到巴州网站设计与巴州网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站设计、做网站、企业官网、英文网站、手机端网站、网站推广、申请域名、网站空间、企业邮箱。业务覆盖巴州地区。

[配置部分]

[hdfs-site.xml]

1.配置名称服务:dfs.nameservices

名称服务的逻辑名。

<property>

  <name>dfs.nameservices</name>

  <value>mycluster</value>

</property>

2.配置nameservice中每个namenode

dfs.ha.namenodes.[nameservice ID]

<property>

  <name>dfs.ha.namenodes.mycluster</name>

  <value>nn1,nn2</value>

</property>

注意：目前的hadoop2.7.2最多只能配置2个namenode。

3.配置每个namede的rpc地址

<property>

  <name>dfs.namenode.rpc-address.mycluster.nn1</name>

  <value>s1:8020</value>

</property>

<property>

  <name>dfs.namenode.rpc-address.mycluster.nn2</name>

  <value>s8:8020</value>

</property>

4.配置每个namenode的webui地址

<property>

  <name>dfs.namenode.http-address.mycluster.nn1</name>

  <value>machine1.example.com:50070</value>

</property>

<property>

  <name>dfs.namenode.http-address.mycluster.nn2</name>

  <value>machine2.example.com:50070</value>

</property>

5.配置namenode的共享edit log目录

<property>

  <name>dfs.namenode.shared.edits.dir</name>

  <value>qjournal://s1:8485;s7:8485;s8:8485/mycluster</value>

</property>

6.配置客户端容灾代理供应商类

供客户端用来检测那个是namenode是活页节点。

<property>

  <name>dfs.client.failover.proxy.provider.mycluster</name>

  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

7.(可选的)配置HA防护方法名集合.

QJM防止脑裂发生，不存在两个active node。

可以配置sshfence或者shell脚本。

8.配置hdfs的文件系统

[core-site.xml]

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

</property>

9.配置JN的本地存放数据(edit log)的目录

<property>

  <name>dfs.journalnode.edits.dir</name>

  <value>/home/ubuntu/hadoop/journal</value>

</property>

2、把core-site.xml文件的客户机名改成如下再颁发给每个虚拟机：<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

3、然后回到hdfs-site.xml里面把<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

</property>删掉。同样颁发给每个虚拟机

4、接下来启动jn进程即：hadoop-daemon.sh starat journalnode

(我是在s1、s7和s8上分别启动journalnode进程。我一共八台虚拟机)

5、将s1的hadoop目录下的 dfs拷贝到s8中。即执行：scp -r dfs ubuntu@s8:/home/ubuntu/hadoop

6、在开启一个namenode节点的情况下，登录：ssh s8的虚拟机上执行hdfs namenode -bootstrapStandby

7、再停止namenode节点，然后 在s1虚拟机上执行：hdfs namenode -initializeSharedEdits

8、分别在s1和s8上启动namenode即：执行hadoop-daemno.sh start namenode

9、最后启动所有的数据节点：hadoop-daemons.sh start datanode (hadoop-daemons.sh是启动所有的节点)

管理ha过程

1、手动完成状态切换：

hdfs haadmin -transitionToActive nn1

hdfs haadmin -transitionToStandbby nn1

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享名称：HADOOP的HA搭建-创新互联
转载来源：https://www.cdcxhl.com/article20/dpjcjo.html

成都网站建设公司_创新互联，为您提供外贸网站建设、关键词优化、网站设计公司、品牌网站设计、建站公司、软件开发

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联