怎么通过spark将数据存储到elasticsearch-创新互联

这篇文章主要介绍“怎么通过spark将数据存储到elasticsearch”，在日常操作中，相信很多人在怎么通过spark将数据存储到elasticsearch问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么通过spark将数据存储到elasticsearch”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

成都创新互联公司长期为上1000+客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为贵州企业提供专业的网站设计制作、做网站，贵州网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。

	maven依赖
	<dependency>
	    <groupId>org.elasticsearch</groupId>
	    <artifactId>elasticsearch-spark-20_2.11</artifactId>
	    <version>6.6.0</version>
	</dependency>
package hgs.spark.es
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
import org.apache.spark.sql.SQLContext
object ViaSparkLoadDataToES {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("toEs").setMaster("local")
    conf.set("es.resource", "mtest/IT")
    conf.set("es.nodes", "bigdata00,bigdata01")
    conf.set("es.port", "9200")
    val context = new SparkContext(conf)
    
    val sqlContext = new SQLContext(context)
    
    
    import sqlContext.implicits._ 
    
    val rdd = context.textFile( "d:\\person",1)
    //val jsonrddDF = sqlContext.read.json(rdd)
    rdd.saveJsonToEs("mtest/IT")
    
    
   
    context.stop()
    
   
    
  }
 
  
}

到此，关于“怎么通过spark将数据存储到elasticsearch”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联-成都网站建设公司网站，小编会继续努力为大家带来更多实用的文章！

标题名称：怎么通过spark将数据存储到elasticsearch-创新互联
转载注明：https://www.cdcxhl.com/article30/dcsoso.html

成都网站建设公司_创新互联，为您提供品牌网站制作、营销型网站建设、手机网站建设、动态网站、自适应网站、搜索引擎优化

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联