本篇文章为大家展示了如何进行Spark Job 动态分配资源的分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
创新互联公司长期为上千多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为桃城企业提供专业的成都网站设计、成都网站建设,桃城网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。
项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时,thrift-server 需要分配大量的资源,当不需要查询时分配当量的资源又显得非常浪费,因此想到是否有可能动态分配资源。
(thrift-server也是一个job(yarn app),因此这种方法同样适用于一般的spark job)。
目前动态资源分配只适合spark on yarn,配置方式如下。
修改所有节点yarn node-manager配置,在$HADOOP_HOME/etc/hadoop/yarn-site.xml
中添加:
<property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property><property><name>spark.shuffle.service.port</name><value>7337</value></property>
将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar
copy到 $HADOOP_HOME/share/hadoop/yarn/lib
目录下。
重启yarn。
修改 $SPARK_HOME/conf/spark-default.conf
文件,添加以下内容:
spark.shuffle.service.enabled true spark.shuffle.service.port 7337 spark.dynamicAllocation.enabled true spark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60
这里使用spark中内置的thrift-server验证。
启动thrift-server,只配置 --executor-memory
参数。sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配,当有并发查询或者查询压力比较大时,会申请更多的executor,空闲时回收。
上述内容就是如何进行Spark Job 动态分配资源的分析,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
当前文章:如何进行SparkJob动态分配资源的分析
URL标题:https://www.cdcxhl.com/article26/jhdicg.html
成都网站建设公司_创新互联,为您提供App开发、网站营销、网站改版、用户体验、外贸网站建设、定制网站
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联