spark如何实现parquetfile的写操作

小编给大家分享一下spark如何实现parquetfile的写操作，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！

创新互联是一家专业提供西华企业网站建设,专注与成都网站建设、成都网站制作、H5网站设计、小程序制作等业务。10年已为西华众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

parquetfile的写

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

看完了这篇文章，相信你对“spark如何实现parquetfile的写操作”有了一定的了解，如果想了解更多相关知识，欢迎关注创新互联行业资讯频道，感谢各位的阅读！

当前标题：spark如何实现parquetfile的写操作
标题来源：https://www.cdcxhl.com/article10/piodgo.html

成都网站建设公司_创新互联，为您提供服务器托管、自适应网站、微信公众号、云服务器、做网站、定制网站

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容