基于eclipse开发spark2.0的dataFrame是怎样的

这篇文章给大家介绍基于eclipse开发spark2.0的dataFrame是怎样的，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

成都创新互联服务项目包括科尔沁网站建设、科尔沁网站制作、科尔沁网页制作以及科尔沁网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，科尔沁网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到科尔沁省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

前些天准备研究下spark2.0的spark-sql.

我主要的工具是eclipse

版本是hadoop2.7+spark2.0

废话少说，直接上代码wordcount

import org.apache.spark.sql.SparkSession
import org.apache.spark._

import org.apache.spark.SparkContext._
import scala.io.Source

/**
  * Created by Administrator on 2016/7/29 0029.
  */
object wordcount2{
def main(args: Array[String]) {

  
   val sparksession=SparkSession.builder()
   .master("local")
   .getOrCreate()
   import sparksession.implicits._
   
  //val ds=sparksession.read.textFile("hdfs://192.168.153.11:9000/user/spark/a.txt").as[String]
  // val ds=sparksession.read.text("file:/D:/a.txt").as[String]
   //var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
  // val ds=sparksession.sparkContext.textFile(args(0)).toDS()
  // val result=ds.flatMap(_.split(" ")).filter(_.length>0).groupBy().count()
    val warehouseLocation ="file:/"  // "hdfs://192.168.21.8:9000/"  //"file:/"
    val sparkSession1 =  SparkSession.builder().master("local").appName("tst").config("spark.sql.warehouse.dir",warehouseLocation).getOrCreate()
  var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
    val counts = ds.flatMap(line => line.split(" "))
   val words = counts.groupByKey(_.toLowerCase())
   val  datas = words.count()
    datas.show()
    //result.show()
    
 //主要注意点是   var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
     //这里load的路径要注意

}

}

关于基于eclipse开发spark2.0的dataFrame是怎样的就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。

分享标题：基于eclipse开发spark2.0的dataFrame是怎样的
网站URL：https://www.cdcxhl.com/article44/gdpohe.html

成都网站建设公司_创新互联，为您提供做网站、网站设计、营销型网站建设、关键词优化、品牌网站制作、ChatGPT

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联