启动yarn的命令是(解决启动hadoop时datanode无法启动?)

大家好,今天小编关注到一个比较有意思的话题,就是关于linux中启动yarn集群的命令的问题,于是小编就整理了4个相关介绍为您解答,让我们一起看看吧。

linux启动命令?

一:启动Nginx服务--在sbin目录下

启动命令:./nginx

关闭命令:./nginx-sstop和./nginx-squit

刷新配置文件:./nginx-sreload (每次对Nginx的配置文件nginx.conf修改后,都要进行重新加载配置文件)

解决启动hadoop时datanode无法启动?

1、如果集群是第一次启动,需要格式化NameNode,如下图所示。

2、通过start-dfs.sh命令在配置了namenode的节点启动HDFS,即可同时启动所有的datanode和SecondaryNameNode节点。

3、通过start-yarn.sh命令启动yarn,即可同时启动ResourceManager和所有的Nodemanager节点。

4、最后通过jps命令可在各个节点上查看进程启动情况,显示如下所示即表示启动成功。

yarn的三种调度策略配置参数?

三种调度器

FIFO调度器

先进先出,但不适合资源公平性

容量调度器

独立的专门队列保证小作业也可以提交后就启动,队列容量是专门保留的

以整个集群的利用率为代价,与FIFO比,大作业执行的时间要长

公平调度器

不需要预留资源,调度器可以在运行的作业之间动态平衡资源,大作业启动时,因为是唯一运行的,所以获得集群的所有资源,之后小作业启动时,被分配到集群的一半的资源,这样每个作业都能公平共享资源


yarn架构主要包含哪两类节点?

yarn的2个主要的类节点(服务进程)

1、resourcemanager 主节点master --- 只需要1个 (也可以实现HA)。

2、nodemanager 从节点 -----根据集群规模可以有多个。

到此,以上就是小编对于启动yarn的命令是的问题就介绍到这了,希望这4点解答对大家有用。

网页名称:启动yarn的命令是(解决启动hadoop时datanode无法启动?)
文章源于:http://www.csdahua.cn/qtweb/news13/336313.html

网站建设、网络推广公司-快上网,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 快上网