SPARK启动历史任务查看

SPARK历史任务查看需要一下配置:

在吕梁等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、网站设计 网站设计制作定制设计,公司网站建设,企业网站建设,品牌网站设计,成都全网营销,成都外贸网站建设公司,吕梁网站建设费用合理。

1. 修改spark-defaults.conf配置文件

   1.   spark.eventLog.enabled             true

   2.   spark.eventLog.dir                       hdfs://192.168.9.110:9000/eventLogs

   3.   spark.eventLog.compress          true

2. 修改spark-env.sh配置文件

   1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

3. 以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

   1. 进入hadoop的bin目录 命令 :  cd /data/server/hadoop-2.6.0/bin

   2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

   3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

4. 重启spark集群

5. 启动历史任务进程

   1. sbin/start-history-server.sh

6. 历史任务进程启动验证

   1. 执行jps命令,出现HistoryServer进程

7. 查看历史任务Web UI

   1. http://192.168.9.110:18080/

当前名称：SPARK启动历史任务查看
网址分享：https://www.cdcxhl.com/article18/ghohdp.html

成都网站建设公司_创新互联，为您提供标签优化、软件开发、搜索引擎优化、动态网站、用户体验、网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联