HDFS架构如何设计

这篇文章主要介绍HDFS架构如何设计，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

创新互联建站专注于企业营销型网站、网站重做改版、新兴网站定制设计、自适应品牌网站建设、HTML5建站、电子商务商城网站建设、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为新兴等各大城市提供网站开发制作服务。

HDFS架构设计：
1.NN(NameNode):主要是维护管理文件命名空间，其中包括了文件名称，文件的权限，创建时间，副本数，文件被分成多少块，快分布在哪些机器（产生文件fsimage和editlog）。

2.理解NN管理下NN和块以及实际存储内容的存储关系。
实例：假设NN为一个容量为128000ML的正方形盒子，每个块为同样大小正正方方的容量为128ML的盒子，但是每个盒子里只有3ml的水（每个块中存储文件的实际大小）。

则问实际存储的内容是多少ml？3*（128000/128）=3000ml这里是由DN管理存储的。
放进去的盒子是多少个？1000个（其实就是存储的块的数量）
总的来说尽管实际存储只有3000ml,但是却消耗了1000个瓶子的名字的字节总和的NN的空间，但是如果把1000个瓶子压缩成500或者更少（小文件合并），则可以消耗更少量的NN管理空间。

3.DN（DataNode）:存储数据块，存储数据块校验和。


4.SN（SecondaryNode）:做每小时的检查工作checkpoint。（检查NN的工作即产生文件fsimage和editlog并进行打包制作成新的fsimage文件保存下来）

图理解：

以上是“HDFS架构如何设计”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！

当前题目：HDFS架构如何设计
网站URL：https://www.cdcxhl.com/article4/jdcjoe.html

成都网站建设公司_创新互联，为您提供自适应网站、面包屑导航、外贸网站建设、搜索引擎优化、虚拟主机、移动网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联