SparkSql的安装过程

本篇内容介绍了“Spark Sql的安装过程”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

创新互联公司主营港南网站建设的网络公司,主营网站建设方案,重庆App定制开发,港南h5微信小程序开发搭建,港南网站营销推广欢迎港南等地区企业咨询

一、启动zk、启动hdfs集群、启动hive服务（hive  --service  metastore）

二、修改spark中conf下的hive-site.xml配置文件（就和hive的client的配置文件相同）

    注：这里配置文件只需要修改一台主机就可以了，这里相当于client

三、启动spark集群

四、启动spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)

    注：配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip，如果配置文件中配置的是主机名，那么命令就要用主机名；

SparkSQL thrift server环境搭建

1、hive-site.xml 中添加配置

<property>

<name>hive.server2.thrift.min.worker.threads</name>

<value>5</value>

<description>Minimum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.max.worker.threads</name>

<value>500</value>

<description>Maximum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

<description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node12</value><!--  这里就是当前主机名 -->

<description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>

</property>

二、启动spark thrift server

./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M

三、启动以后可以通过bin目录下beeline访问

./bin/beeline

!connect  jdbc:hive2://node12:10000

注：这样可以进入sparksql控制台，但是不能查询，报错，需要将hdfs集群中core-site.xml 和 hdfs-site.xml拷贝到spark中conf下（每个spark集群节点都要拷贝）

“Spark Sql的安装过程”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！

网页名称：SparkSql的安装过程
标题路径：https://www.cdcxhl.com/article36/ihsspg.html

成都网站建设公司_创新互联，为您提供App开发、商城网站、静态网站、外贸网站建设、移动网站建设、企业建站

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联