Hadoop深入浅出实战经典–第02讲

本文来源：通通学--知识学习与分享平台

成都创新互联是一家专业提供孝南企业网站建设,专注与网站设计、成都网站设计、HTML5、小程序制作等业务。10年已为孝南众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

转载链接：http://www.tongtongxue.com/archives/220.html

Hadoop的核心

HDFS: Hadoop Distributed File System 分布式文件系统

MapReduce：并行计算框架

Yarn：集群资源管理和调度框架

Hadoop是什么？

适合大数据的分布式存储、计算、资源管理平台

作者：Doug Cutting

受Google三篇论文的启发

Hadoop生态系统

HDFS

主从结构
主节点，只有一个: namenode
从节点，有很多个: datanodes

namenode负责：
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系，block与datanode之间关系

datanode负责：
存储文件
文件被分成block存储在磁盘上
为保证数据安全，文件会有多个副本

Yarn

Yarn下的MapReduce

主从结构
主节点，只有一个: ResourceManager
控制节点，每个Job都有一个MRAppMaster
从节点，有很多个: YarnChild

ResourceManager负责：
接收客户提交的计算任务
把Job分给MRAppMaster执行
监控MRAppMaster的执行情况

MRAppMaster负责：
负责一个Job执行的任务调度
把Job分给YarnChild执行
监控YarnChild的执行情况

网页标题：Hadoop深入浅出实战经典–第02讲
文章转载：https://www.cdcxhl.com/article38/jdscsp.html

成都网站建设公司_创新互联，为您提供App开发、ChatGPT、云服务器、网站策划、做网站、建站公司

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联