1.在大数据的领域之中,体系结构都是主从结构(存在主节点和从节点)
创新互联2013年至今,先为浦口等服务建站,浦口等地企业,进行企业商务咨询服务。为浦口企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。在此当中单点指的是主节点发生故障,主节点的故障会导致整个集群无法访问。无论是何种集群主节点的故障导致的结果都相似。
集群 | 主节点 | 从节点 |
---|---|---|
HDFS | NameNode | DateNode |
Yarn | resourceManager | NodeManager |
HBase | HMaster | RegionServer |
Storn | Nimbus | Supervisor |
Spark | Master | Worker |
通过创造多个主节点来避免当个主节点发生故障导致的集群无法访问。
不同的集群都需要借助ZooKeeper来实现HA。
2.集群的配置
Zookeeper集群:
192.168.157.12 (bigdata12)
192.168.157.13 (bigdata13)
192.168.157.14 (bigdata14)
Hadoop集群:
192.168.157.12 (bigdata12) NameNode1 ResourceManager1 Journalnode
192.168.157.13 (bigdata13) NameNode2 ResourceManager2 Journalnode
192.168.157.14 (bigdata14) DataNode1
192.168.157.15 (bigdata15) DataNode2
日志输出信息:
我们可以观察到两个主节点并不是都是Active的状态而是一个active一个standby。而且在Active状态下的主节点出现故障是可以自动将Standby状态下的主节点转化为active的状态从而实现应对单节故障导致集群无法访问的结果。
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
网站标题:通过使用ZooKeeper解决单点故障理论-创新互联
标题链接:https://www.cdcxhl.com/article36/hggpg.html
成都网站建设公司_创新互联,为您提供定制开发、企业建站、域名注册、面包屑导航、搜索引擎优化、移动网站建设
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联