Hive行转列的实现方式

本篇内容主要讲解“Hive行转列的实现方式”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hive行转列的实现方式”吧!

创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于网站建设、网站设计、东洲网络推广、小程序开发、东洲网络营销、东洲企业策划、东洲品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联公司为所有大学生创业者提供东洲建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com

前言

传统关系型数据库中,无论是Oracle(11g之后)还是SQLserver(2005之后),都自带了Pivot函数实现行转列功能,本文主要讲述在Hive中实现行转列的两种方式。

传统数据库方式

这种方式是借鉴在Oracle或者SQLserver在支持Pivot函数之前实现行转列的方式,实际上语法没有什么变化,只是换成了Hive。

with testtable(
select 1 id,'k1' key,123 value
 union all
select 1,'k2' key,124 value
 union all
select 2,'k1',234 value
 )
select id,
      max(case when key='k1' then value else null end) k1,
      max(case when key='k2' then value else null end) k2
 from testtable
group by id

Map方式

这种方式的思路是把需要转列的字段及其值字段拼接成一个Hive上的key-value的map数据,具体Sql如下:

with testtable(
select 1 id,'k1' key,123 value
 union all
select 1,'k2' key,124 value
 union all
select 2,'k1',234 value
 )
select id,kv['k1'],kv['k2']
 from (
select id,str_to_map(concat_ws(',', collect_set(concat(key, '-', value))),',','-') kv
 from testtable
group by id)t

总结

两种方式都可以实现行转列的功能,传统的方式易于理解,但在key的取值比较多的时候,写起来会相当繁琐,map的方式相对要简便一些。但map的方式所有的数据都collect到一起了,对内存的要求会高一些,而传统的方式通过聚合函数直接reduce,可以边运行边求值。

到此,相信大家对“Hive行转列的实现方式”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

当前文章:Hive行转列的实现方式
本文链接:https://www.cdcxhl.com/article6/jcjiog.html

成都网站建设公司_创新互联,为您提供虚拟主机企业建站移动网站建设云服务器网站改版小程序开发

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

小程序开发