python如何连接hive

这篇文章将为大家详细讲解有关python 如何连接hive,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

成都创新互联公司主要业务有网站营销策划、网站设计制作、网站制作、微信公众号开发、小程序开发HTML5建站、程序开发等业务。一次合作终身朋友,是我们奉行的宗旨;我们不仅仅把客户当客户,还把客户视为我们的合作伙伴,在开展业务的过程中,公司还积累了丰富的行业经验、全网营销推广资源和合作伙伴关系资源,并逐渐建立起规范的客户服务和保障体系。 

python连接hive的几种方式

·基于pyhive连接hive。

·基于impyla连接hive。

方法一:使用PyHive库

安装依赖包:其中sasl安装可能会报错,可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载对应版本安装。

pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive

Python脚本代码操作:

from pyhive import hive   # or import hive
conn = hive.Connection(host='****', port=****, username='****', database='****')
cursor.execute(''SELECT * FROM my_awesome_data LIMIT 10'')
for i in range(****):
    sql = "INSERT INTO **** VALUES ({},'username{}')".format(value, str(username))
    cursor.execute(sql)
  
# 下面是官网代码:
from pyhive import presto  # or import hive
cursor = presto.connect('localhost').cursor()
cursor.execute('SELECT * FROM my_awesome_data LIMIT 10')
print(cursor.fetchone())
print(cursor.fetchall())

方法二:使用impyla库

impyla依赖包:

pip install six
pip install bit-array
pip install thriftpy

为了支持Hive还需要以下两个包:

pip install sasl
pip install thrift-sasl

可在Python PyPI中下载impyla及其依赖包的源码

Python脚本代码:

from impala.dbapi import connect 
conn = connect(host ='****',port = ****)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
print cursor.description   # 打印结果集的schema 
results = cursor.fetchall()

关于python 如何连接hive就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

本文标题:python如何连接hive
网页地址:https://www.cdcxhl.com/article26/pdgjcg.html

成都网站建设公司_创新互联,为您提供动态网站Google静态网站网页设计公司服务器托管云服务器

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站建设