hadoop环境搭建及修改配置文件（第四讲）-创新互联

1.设置ip

创新互联是一家集网站建设,舞阳企业网站建设,舞阳品牌网站建设,网站定制,舞阳网站建设报价,网络营销,网络优化,舞阳网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

 service network restart 重启网卡生效

2.关闭防火墙（在hadoop中要使用到许多端口，为了避免麻烦之间对防火墙进行关闭）

 service iptables stop 关闭防火墙命令

 service iptables status查看防火墙状态命令

  

 关闭防火墙的自动运行：

     查看自动运行的设置：chkconfig --list可以显示所有的设置（防火墙iptables）

        

     过滤查看防火墙自动启动设置

    chkconfig --list |（竖线） grep（过滤） iptables（过滤对象）

            管道：把左侧的输出作为右侧的输入

   将防火墙的自动启动设置全设置为off

        chkconfig iptables off

   

  从此后防火墙不会随着系统的重新启动自动开启了

3.设置主机名

 查看主机名命令：hostname

 修改主机名：hostname crxy（超人学院），这种方式只对当前会话生效，重启系统后还是没有修改

 修改磁盘文件彻底改变主机名：vi /etc/sysconfig/network

 重启机器后生效：reboot -h now(这儿可以不用重启系统)

  

4.ssh的配置操作：ssh是类似与telnet的在机器之间进行远程访问的工具，telnet是明文，ssh是加密

 ssh使用的是非对称加密，有公钥密钥的问题，如图所示中访问ip需要进行密码登录

  

 为了实现免密码登录，需要进行如下配置：

  ssh-keygen -t rsa(先产生密钥)，多次回车后找到your public key has been saved in

/root/.ssh/id_rsa.pub（密钥生成的公钥保存在一个目录中）

  cd /root/.ssh或者cd /root/.ssh、

  cp id_rsa.pub authorized_keys(图中少了s)

  或者直接 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

也可以ssh localhost（当第一次访问的时候需要输入密码，之后就不需要输入密码了）

对于ssh 主机名的问题解决（之所以出错是因为主机名依赖于域名，之所以能够在浏览器中输入主机名访问是因为绑定了域名的缘故），绑定ip地址的方法：

5.ip与hostname绑定

    vi /etc/hosts(在下一行添加192.168.42.100 crxy)(分别对于linux的ip和主机名称)

   

6.使用WinSCP工具软件在windows和linux之间的文件传递

  

  

传送文件：左侧找到文件，右侧打开文件，路径中修改/root为/usr/local,(其中/usr/local是自定义的安装目录，也可以自己定义)，下面会话书签点击添加，之后再点击共享书签，点击添加，最后确定

这样之后local目录下会有文件，我们可以全部选中，右键点击删除

然后把hadoop文件和jdk文件拖进去即可

拖动完成后可以使用命令查看local下的文件

7.安装jdk

 在安装jdk之前需要对权限进行修改，这样之后就能够使用tab键自动补全

 通过./jdk...进行解压

  

  

 

  

8.安装hadoop

  解压.tar.gz格式的命令:  tar -xzvf hadoop-1.1.2.tar.gz

     x表示解压缩，z表示压缩格式，v表示显示信息，f表示文件

  

  

    配置环境变量

  

9.安装伪分布

 修改hadoop/conf下的几个配置文件

   1.hadoop-env.sh

   2.core-site.xml

     3.hdfs-site.xml

     4.mapred-site.xml

 a.修改hadoop-env.sh

  

 b.core-site.xml

   

 c.hdfs-site.xml

  

d.mapred-site.xml

  

  

这样，hadoop的配置就算完成了，剩下的工作就是启动hadoop

10.hadoop的启动

  a.在启动hadoop之前须要对hadoop文件系统进行格式化（hadoop包括存储和计算两部分，类似其他文件系统一样，当一个存储空间需要使用时须要对存储空间进行格式化）

  格式化的命令：hadoop namenode -format

  

 b.hadoop文件系统启动命令：

  start-all.sh

  

  验证：在window的命令窗口下（windows已经配置好了jdk的环境变量）运行命令jps（查看java进程的命令）就能够查看java的运行进程，如果在linux中运行jps可以查看到java进程的话表示hadoop文件系统启动成功（因为hadoop是基于java开发的）

  

  

启动时没有NameNode的可能原因:

(1)没有格式化

(2)环境变量设置错误

(3)ip与hostname绑定失败

最后，我们可以通过浏览器的方式观察hadoop启动的状态，即我们可以通过windows访问：

 在windows浏览器中输入http://192.168.42.100:50070(http://192.168.42.100:50070(li linux网址+端口号)或者直接输入192.168.42.100:50070即可（这是因为在windows中也可以ping通linux网络的原因），在linux的浏览器中也可以看到同样的效果（在linux浏览器中ip地址可以使用主机名代替，因为它们之间相互绑定了）

  

在浏览器查看中，50070查看的是NameNode的信息，50030查看的是MapReduce的信息

11.命令汇总：

 

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

当前题目：hadoop环境搭建及修改配置文件（第四讲）-创新互联
分享路径：https://www.cdcxhl.com/article36/cejesg.html

成都网站建设公司_创新互联，为您提供定制网站、手机网站建设、网站改版、企业建站、企业网站制作、虚拟主机

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联