企业级大数据平台

部署：分为测试环境、生产环境。
Hadoop发行版本：Apache、CDH（tar包、rpm包、parcel包，必须由cloudera manager进行管理）、HDP
注意：大数据框架内禁用IPV6；同时要修改用户的最大进程数、单个进程打开的最大文件数量；
Hadoop 2 三大组件：1. HDFS 2.MapReduce 3 YARN
HDFS：分布式文件系统，从功能上分为namenode、datanode。其中，namenode用于存放集群元数据，例如文件名称层、文件存放在哪个datanode之上、有没有进行切片等；数据是以block形式存储；namenode中数据存放在内存中、本地磁盘包括镜像文件、编辑日志；以块为单位存储，在V2中默认大小是128MB；datanode与namenode之间会发送心跳（证明存活状态，默认是每隔3秒钟，在心跳返回结果中含有namenode发送给datanode的指令，如复制或删除数据块）、块状态报告（默认是每隔一个小时上报一次）等，是通过底层协议如RPC进行通信；副本默认是3，默认策略是其中两个副本在同一个rack不同节点，第三个副本在不同的rack上；
YARN架构：分为node manager（每一个节点）、resource manager（管理整个集群）

目前成都创新互联已为超过千家的企业提供了网站建设、域名、虚拟主机、网站托管、企业网站设计、盈江网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

新闻名称：企业级大数据平台
URL网址：https://www.cdcxhl.com/article46/ishseg.html

成都网站建设公司_创新互联，为您提供外贸网站建设、自适应网站、关键词优化、微信小程序、电子商务、虚拟主机

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容