Hadoop设计概念是什么-创新互联

本篇内容主要讲解“Hadoop设计概念是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop设计概念是什么”吧!

创新互联建站专注于阳泉网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供阳泉营销型网站建设,阳泉网站制作、阳泉网页设计、阳泉网站官网定制、小程序制作服务,打造阳泉网络公司原创品牌,更为您提供阳泉网站排名全网营销落地服务。

一、Hadoop简介

Apache Hadoop是目前最流行的软件框架,可使用简单的高级编程模型实现大型数据集的分布式存储和处理。Hadoop是Apache Software Foundation的一个开源项目,可以安装在服务器集群上,以便这些服务器可以通信并协同工作来存储和处理大型数据集。Hadoop近年来因其有效处理大数据的能力而变得非常成功。它允许公司将所有数据存储在一个系统中,并对这些数据进行分析,否则传统解决方案不可能或非常昂贵。

围绕Hadoop构建的许多配套工具提供了各种各样的处理技术。与辅助系统和实用程序的集成非常出色,使Hadoop的实际工作更轻松,更高效。这些工具共同构成了Hadoop生态系统。

大家可以将Hadoop视为大数据操作系统,从而可以在所有庞大的数据集上运行不同类型的工作负载。其范围从离线批处理到机器学习再到实时流处理。

二、Hadoop设计概念

为了解决处理和存储大型数据集的挑战,Hadoop是根据以下核心特征构建的:

1、分布 - 存储和处理不是构建一台大型超级计算机,而是分布在一组通信和协同工作的小型机器上。

2、横向可扩展性 - 只需添加新计算机即可轻松扩展Hadoop集群。每台新机器都会按比例增加Hadoop集群的总存储和处理能力。

3、容错 - 即使少数硬件或软件组件无法正常工作,Hadoop仍可继续运行。

4、成本优化 - Hadoop不需要昂贵的高端服务器,无需商业许可即可正常工作。

5、编程抽象 - Hadoop负责处理与分布式计算相关的所有混乱细节。借助高级API,用户可以专注于实现解决现实问题的业务逻辑。

6、数据位置 - Hadoop不会将大型数据集移动到运行应用程序的位置,而是运行数据已经存在的应用程序。

三、Hadoop组件

Hadoop分为两个核心组件:HDFS分布式文件系统;YARN集群资源管理技术。

1、HDFS:

HDFS是一个Hadoop分布式文件系统。它可以在您需要的任意数量的服务器上运行 - HDFS可以轻松扩展到数千个节点和数PB的数据。HDFS设置越大,某些磁盘,服务器或网络交换机出现故障的概率就越大。HDFS通过在多个服务器上复制数据来幸免于这些类型的故障。HDFS自动检测给定组件是否已发生故障,并采取对用户透明发生的必要恢复操作。

HDFS设计用于存储数百兆字节或千兆字节的大型文件,并为它们提供高吞吐量的流数据访问。最后但同样重要的是,HDFS支持一次写入多次读取模型。对于这个用例,HDFS就像一个魅力。但是,如果您需要存储大量具有随机读写访问权限的小文件,那么其他系统(如RDBMS和Apache HBase)可以做得更好。

2、YARN:
YARN(Yet Another Resource Negotiator)负责管理Hadoop集群上的资源,并支持运行处理存储在HDFS上的数据的各种分布式应用程序。与HDFS类似,YARN遵循主从设计,ResourceManager进程充当主节点,多个NodeManager充当工作者。他们有以下责任:

(1)ResourceManager

跟踪实时NodeManagers以及群集中每台服务器上的可用计算资源量。为应用程序分配可用资源。监视Hadoop集群上所有应用程序的执行情况。

(2)节点管理器

管理Hadoop集群中单个节点上的计算资源(RAM和CPU)。运行各种应用程序的任务,并强制它们在指定的计算资源的限制范围内。

YARN以资源容器的形式将集群资源分配给各种应用程序,资源容器表示RAM量和CPU核心数量的组合。

Hadoop = HDFS + YARN

在同一群集上运行的HDFS和YARN守护程序为我们提供了一个用于存储和处理大型数据集的强大平台。

到此,相信大家对“Hadoop设计概念是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联成都网站设计公司网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。

网页名称:Hadoop设计概念是什么-创新互联
本文链接:https://www.cdcxhl.com/article30/dscspo.html

成都网站建设公司_创新互联,为您提供静态网站网站设计小程序开发移动网站建设外贸建站网站排名

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

网站托管运营