阿里云服务器:入门型(按量付费)
操作系统:linux CentOS 6.8
Cpu:1核
内存:1G
硬盘:40G
ip:39.108.77.250
JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
官网地址:
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
百度云:
链接:http://pan.baidu.com/s/1pLqS4kF 密码:yb79
在配置Hadoop之前,应该先做以下配置
首先更改主机名,目的是为了方便管理。
输入:
hostname
查看本机的名称
然后输入:
vim /etc/sysconfig/network
修改主机名称
将HOSTNAME 的名称更改为你想要设置的名称
注:主机名称更改之后,要重启(reboot)才会生效。
输入
vim /etc/hosts
添加 主机IP 和对应的主机名称,做映射。
注:在配置文件中使用主机名的话,这个映射必须做!
关闭防火墙,方便外部访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入:
systemctl stop firewalld.service
输入:
date
查看服务器时间是否一致,若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
将下载下来的 jdk、hadoop 解压包放在home 目录下
并新建java、hadoop文件夹
输入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.8.2.tar.gz
解压jdk和hadoop ,分别移动文件到java和hadoop文件下,
并将文件夹重命名为jdk1.8和hadoop2.8
首先输入
java -version
查看是否安装了JDK,如果安装了,但版本不适合的话,就卸载
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH
注: JAVA_HOME的路径是 JDK的路径
使用vim 编辑之后 记得输入
source /etc/profile
使配置生效
配置完后,输入java -version
查看版本信息
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export HADOOP_HOME=/home/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
输入:
source /etc/profile
使配置生效
修改配置文件
在修改配置文件之前,现在root目录下建立一些文件夹。
输入:
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
注:在root目录下新建文件夹是防止被莫名的删除。
首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下
输入:
vim core-site.xml
在<configuration>
添加:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://test1:9000</value>
</property>
</configuration>
说明: test1 可以替换为主机的ip。
输入:
vim hadoop-env.sh
将${JAVA_HOME}
修改为自己的JDK路径
export JAVA_HOME=${JAVA_HOME}
修改为:
export JAVA_HOME=/home/java/jdk1.8
输入:
vim hdfs-site.xml
在<configuration>
添加:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
说明:dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
如果没有 mapred-site.xml
该文件,就复制mapred-site.xml.template
文件并重命名为mapred-site.xml
。
输入:
vim mapred-site.xml
修改这个新建的mapred-site.xml
文件,在<configuration>
节点内加入配置:
<property>
<name>mapred.job.tracker</name>
<value>test1:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
使用的命令:
到此 Hadoop 的单机模式的配置就完成了。
第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入
./hadoop namenode -format
初始化成功后,可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置,并新建了该文件夹)新增了一个current 目录以及一些文件。
启动Hadoop 主要是启动HDFS和YARN
切换到/home/hadoop/hadoop2.8/sbin目录
启动HDFS
输入:
start-dfs.sh
登录会询问是否连接,输入yes ,然后输入密码就可以了
启动YARN
输入:
start-yarn.sh
可以输入 jps 查看是否成功启动
在浏览器输入:
http://39.108.77.250:8088/cluster
输入:
http://39.108.77.250:50070
注:当时忘记截图了,这张使用的是本地用虚拟机搭建环境的图片。
到此,Hadoop的单机配置就结束了。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
标题名称:大数据学习系列之一-----Hadoop环境搭建(单机)-创新互联
标题网址:https://www.cdcxhl.com/article28/ccspjp.html
成都网站建设公司_创新互联,为您提供响应式网站、搜索引擎优化、云服务器、动态网站、品牌网站制作、用户体验
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联