一、统计指定索引的每个值有多少个:
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的平桥网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");
var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}
var result=pairRdd.reduceByKey((sum,x)=>sum+x)
result.collect.foreach(println)
二、统计数据列数
var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");
var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}
var result=pairRdd.reduceByKey((sum,x)=>sum+x)
result.collect.foreach(println)
文章题目:spark简单例子
地址分享:https://www.cdcxhl.com/article44/jghjhe.html
成都网站建设公司_创新互联,为您提供网站设计、品牌网站设计、网站导航、网站制作、小程序开发、微信小程序
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联