大数据之一：Hadoop安装

一、安装Hadoop

1.先解压hadoop到相关的文件夹中

创新互联公司是专业的图们网站建设公司，图们接单;提供做网站、网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行图们网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

2.进入到解压好的文件夹以后，对相关文件进行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

5.配置hdfs-site.xml

vi hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

8.vi yarn-site.xml

vi 

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source  /etc/profile
hdfs namenode -format

11.启动

start-all.sh

jps
#查看进程

12.把linux导入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系统

​ NameNode:主节点，目录

​ DataNode：从节点，数据

​ SecondaryNameNode：主节点的备份

2.YARN：Yet Another Resource Negotiator 资源管理调度系统

​ 调度的是内存的资源和CPU的算力

​ 通过ResourceManager（只有一个） 来调度

​ ResourceManager主要作用：

​ 1.处理客户端请求

​ 2.监控NodeManager

​ 3.启动或监控ApplicationMaster（）

​ 4.资源的分配或调度

​ NodeManager（多个）

​ NodeManager主要作用：

​ 1.管理单个节点上的资源

​ 2.处理来自ResourceManager的命令

​ 3.处理来自ApplicationMaster的命令

3.MapReduce：分布式运算框架

​ 运算的

本文名称：大数据之一：Hadoop安装
本文网址：https://www.cdcxhl.com/article48/gsscep.html

成都网站建设公司_创新互联，为您提供网站排名、动态网站、网站建设、品牌网站建设、搜索引擎优化、关键词优化

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联