Hadoop栈由哪些组件组成-创新互联

本篇内容介绍了“Hadoop栈由哪些组件组成”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联-专业网站定制、快速模板网站建设、高性价比石嘴山网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式石嘴山网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖石嘴山地区。费用合理售后完善，10余年实体公司更值得信赖。

　一、Hadoop生态体系

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。

Hadoop “栈”由多个组件组成。包括：

1.Hadoop分布式文件系统(HDFS)：所有Hadoop集群的默认存储层

2.名称节点：在Hadoop集群中，提供数据存储位置以及节点失效信息的节点。

3. 二级节点：名称节点的备份，它会定期复制和存储名称节点的数据，以防名称节点失效。

4.作业跟踪器：Hadoop集群中发起和协调MapReduce作业或数据处理任务的节点。

5.从节点：Hadoop集群的普通节点，从节点存储数据并且从作业跟踪器那里获取数据处理指令。

　　二、Spark生态体系

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

　　三、Storm实时开发

Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。

Storm有如下特点：

1.编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单

2.高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。

3.分布式：可以轻松应对数据量大，单机搞不定的场景

4.可扩展：随着业务发展，数据量和计算量越来越大，系统可水平扩展

5.容错：单个节点挂了不影响应用

6.消息不丢失：保证消息处理

“Hadoop栈由哪些组件组成”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联-成都网站建设公司网站，小编将为大家输出更多高质量的实用文章！

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容