hadoop学习笔记1---Hadoop体系介绍-创新互联

1、Namenode

成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站制作、网站设计、竹山网络推广、小程序设计、竹山网络营销、竹山企业策划、竹山品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们大的嘉奖;成都创新互联为所有大学生创业者提供竹山建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

HDFS的守护进程

记录文件时如何分割成数据块的,以及这些数据块被存储到哪些节点上

对内存和I/O进行集中管理

是个单点,发生故障将使集群崩溃

2、Secondary Namenode

监控HDFS状态的辅助后台程序

每个集群都有一个

与NameNode进行通讯定期保存HDFS元数据快照

当NameNode故障可以作为备用NameNode使用

3、DataNode

每台从服务器都运行一个

负责把HDFS数据块读写到本地文件系统

4、JobTracker

用于处理作业(用户提交代码)的后台程序

决定有哪些文件参与处理,然后切割task并分配节点

监控task,重启失败的task(于不同的几点)

每个集群只有唯一一个JobTracker,位于Master节点

5、TaskTracker

位于slave节点上,与datanode结合(代码与数据一起的原则)

管理各自节点上的task(由jobtracker分配)

每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务

与jobtracker交互

1.6、Master和Slave

Master:Namenode、Secondary Namenode、jobtracker。浏览器(用于观看管理界面),其它Hadoop工具

Slave:Tasktracker、Datenode

Master不是唯一的

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。

文章题目:hadoop学习笔记1---Hadoop体系介绍-创新互联
文章分享:https://www.cdcxhl.com/article16/degdgg.html

成都网站建设公司_创新互联,为您提供软件开发搜索引擎优化企业网站制作外贸网站建设网站改版微信小程序

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

微信小程序开发