hadoop学习笔记1---Hadoop体系介绍

1、Namenode

创新互联专注于天心网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供天心营销型网站建设，天心网站制作、天心网页设计、天心网站官网定制、小程序开发服务，打造天心网络公司原创品牌,更为您提供天心网站排名全网营销落地服务。

HDFS的守护进程

记录文件时如何分割成数据块的，以及这些数据块被存储到哪些节点上

对内存和I/O进行集中管理

是个单点，发生故障将使集群崩溃

2、Secondary Namenode

监控HDFS状态的辅助后台程序

每个集群都有一个

与NameNode进行通讯定期保存HDFS元数据快照

当NameNode故障可以作为备用NameNode使用

3、DataNode

每台从服务器都运行一个

负责把HDFS数据块读写到本地文件系统

4、JobTracker

用于处理作业（用户提交代码）的后台程序

决定有哪些文件参与处理，然后切割task并分配节点

监控task，重启失败的task（于不同的几点）

每个集群只有唯一一个JobTracker，位于Master节点

5、TaskTracker

位于slave节点上，与datanode结合（代码与数据一起的原则）

管理各自节点上的task（由jobtracker分配）

每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务

与jobtracker交互

1.6、Master和Slave

Master：Namenode、Secondary Namenode、jobtracker。浏览器（用于观看管理界面），其它Hadoop工具

Slave：Tasktracker、Datenode

Master不是唯一的

网站标题：hadoop学习笔记1---Hadoop体系介绍
网站地址：https://www.cdcxhl.com/article12/jhcggc.html

成都网站建设公司_创新互联，为您提供App设计、标签优化、移动网站建设、网站导航、网站排名、手机网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联