spark怎么通过jdbc方式连接关系型数据库

本篇内容介绍了“spark怎么通过jdbc方式连接关系型数据库”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

创新互联建站专注于郁南网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供郁南营销型网站建设，郁南网站制作、郁南网页设计、郁南网站官网定制、重庆小程序开发服务，打造郁南网络公司原创品牌,更为您提供郁南网站排名全网营销落地服务。

1 创建sparkSession对象

val sparkSession = SparkSession.builder().appName("findIPRel").getOrCreate()

2 jdbc链接创建DataFrame对象

    val jdbcDF = sparkSession.read
      .format("jdbc")
      .option("driver", "org.postgresql.Driver")  //必须添加
      .option("url", "jdbc:postgresql://121.36.61.51:5432/xsbigdatadb")
      .option("dbtable", "ods_proto_log")
      .option("user", "postgres")
      .option("password", "root@456")
      .load()

其中需要注意的是一定要加上对driver选项的指定，否则就算你的类路径中含有对应数据库的jdbc包，也会报找不到合适的驱动的错误。

3 通过dataFrame对象使用dsl方式对数据进行查询

val ori = jdbcDF.select("srcip","dstip").rdd.map{
      case Row(col1:String,col2:String) => (col1,col2)
      case _ =>(srcIp,srcIp)
    }

4.其他

• maven中添加pg数据库的jdbc报的依赖

        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.18</version>
        </dependency>

• spark提交指定依赖jar包 在提交命令中加上--jars选项，例如spark-submit --class com.pxu.spark.core.FindIpRel --jars ./postgresql-42.2.18.jar --master spark://master:7077 ./sparkLearn-1.0-SNAPSHOT-jar-with-dependencies.jar 192.168.14.17 192.168.73.58 4 hdfs://master:9000/submitTest/output/out3

“spark怎么通过jdbc方式连接关系型数据库”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！

名称栏目：spark怎么通过jdbc方式连接关系型数据库
链接URL：https://www.cdcxhl.com/article10/jcjcgo.html

成都网站建设公司_创新互联，为您提供用户体验、搜索引擎优化、网站建设、建站公司、软件开发、网站收录

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联