SparkStreaming怎么批量写入HBase

本篇内容介绍了“Spark Streaming怎么批量写入HBase”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

我们提供的服务有：网站设计制作、成都网站设计、微信公众号开发、网站优化、网站认证、泊头ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的泊头网站制作公司

val ssc = new StreamingContext(conf, Seconds(10))     val lines = ssc.textFileStream("hdfs://master:9000/woozoom/").repartition(12).map(_.split(","))     lines.foreachRDD { rdd =>       {         if (rdd.count > 100) {           rdd.foreachPartition { part =>             {               val hbaseConf = HBaseConfiguration.create()               val htable = new HTable(hbaseConf, TableName.valueOf("UAV_LOG"))               htable.setAutoFlush(false, false)               htable.setWriteBufferSize(3 * 1024 * 1024)               part.foreach { log =>                 {                   htable.put(convertFromLogToHabse(log))                 }               }               htable.flushCommits()             }           }         }       }     }
    ssc.start()     ssc.awaitTermination()

“Spark Streaming怎么批量写入HBase”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！

网页题目：SparkStreaming怎么批量写入HBase
本文路径：https://www.cdcxhl.com/article26/pjeojg.html

成都网站建设公司_创新互联，为您提供品牌网站设计、网站收录、外贸建站、定制开发、微信小程序、网站导航

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联