如何实现sparkthriftserver运维

如何实现spark thriftserver运维，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

成都创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都网站建设、网站建设、肥东网络推广、成都小程序开发、肥东网络营销、肥东企业策划、肥东品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联为所有大学生创业者提供肥东建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com

spark thriftserver运维：

在root@spark_master_machine机器上

启动 thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/start-thriftserver.sh \

--hiveconf hive.server2.thrift.port=10000 \

--hiveconf hive.server2.thrift.bind.host=spark_master_machine \

--master spark://spark_master_machine:7077 --executor-memory 24g --executor-cores 8 --total-executor-cores 136 --driver-memory 10g --driver-java-options -XX:MaxPermSize=2g

停止 thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/stop-thriftserver.sh

note：

1.为了spark thrift server指定比较多的core：配置了spark-defaults.conf里spark.driver.cores

通过./sbin/start-thriftserver.sh -–help 可以用来查看可以使用哪些参数,没有发现driver-cores的指定方式，为了指定thrift server可以使用多少个core，在spark-defaults.conf中指定(不要在这台机器提交spark 任务，去脚本机器提交任务)

spark-defaults.conf配置如下：

spark.master spark://spark_master_machine:7077

spark.eventLog.enabled true

spark.eventLog.dir hdfs:/namenodewithoutport/user/root/kk

spark.driver.cores 10

2.指定total-executor-cores来限制ExecutorID产生的数量。

如果--executor-cores 6 --total-executor-cores 102 --executor-memory 16g，

每个worker如果还闲置6core，以及16内存，那么Executor产生两个，导致使用掉worker机器所分配的最大内存(这里分配了32g)，也就会产生34个Executor

3.(防止beeline报错，MaxPermSize不够，增加配置--driver-java-options -XX:MaxPermSize=2g,配置了这个，也只是thriff server这个spark driver program MaxPermSize变化了，这个app的executor还是-XX:MaxPermSize=128m)

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。

网页题目：如何实现sparkthriftserver运维
网页地址：https://www.cdcxhl.com/article28/ghopjp.html

成都网站建设公司_创新互联，为您提供自适应网站、搜索引擎优化、定制网站、微信小程序、软件开发、用户体验

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容