这篇文章给大家分享的是有关hive中python udf的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
德阳ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联建站的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:028-86922220(备注:SSL证书合作)期待与您的合作!
udfdata.txt:
aa pingpong,swim,running
create table udfdata(name String,hobby String) row format delimited fields terminated by '\t' ; LOAD DATA LOCAL INPATH '/Users/lifei/hivedata/udfdata.txt' OVERWRITE INTO TABLE udfdata; add file /Users/lifei/hivedata/parsehobby.py; select transform(name,hobby) using 'python parsehobby.py' as (name,hobby) from udfdata aa pingpong aa swim aa running add file /Users/lifei/hivedata/splithobby.py; select transform(hobby) using 'python splithobby.py' as (name,hobby,test) from udfdata; pingpong swim running
#parsehobby.py import sys for line in sys.stdin: detail = line.strip().split('\t') if (len(detail) < 2): continue name = detail[0] hobbis = detail[1] hobbyArray = hobbis.split(',') for hobby in hobbyArray: print "%s\t%s" %(name,hobby) #splithobby.py import sys for line in sys.stdin: detail = line.strip().split(',') print "%s\t%s\t%s" %(detail[0],detail[1],detail[2])
ps: explode和collect_set
中文或者str时报错:'ascii' codec can't encode characters in position 61-62
reload(sys)
sys.setdefaultencoding('utf8')
感谢各位的阅读!关于“hive中python udf的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
当前标题:hive中pythonudf的示例分析
网页路径:https://www.cdcxhl.com/article30/jcgdpo.html
成都网站建设公司_创新互联,为您提供动态网站、微信公众号、网站排名、标签优化、品牌网站建设、营销型网站建设
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联