Hadoop和pig怎么安装

本篇内容主要讲解“Hadoop和pig怎么安装”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Hadoop和pig怎么安装”吧!

为吉林等地区用户提供了全套网页设计制作服务，及吉林网站建设行业解决方案。主营业务为成都网站制作、做网站、吉林网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，编写MapReduce程序，发布及运行作业都将是一个比较耗时的事情。
Pig的出现很好的弥补了这一不足。Pig能够让你专心于数据及业务本身，而不是纠结于数据的格式转换以及MapReduce程序的编写。本质是上来说，当你使用Pig进行处理时，Pig本身会在后台生成一系列的MapReduce操作来执行任务，但是这个过程对用户来说是透明的。
Pig的安装
Pig作为客户端程序运行，即使你准备在Hadoop集群上使用Pig，你也不需要在集群上做任何安装。Pig从本地提交作业，并和Hadoop进行交互。
1）下载Pig
前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的版本，比如 pig-0.17.0.tar.gz
2）解压文件到合适的目录
[root@hadp-node1 hadoop]# tar -zxvf pig-0.17.0.tar.gz -C /usr/local/hadoop/
3）设置环境变量
export PIG_HOME=/usr/local/hadoop/pig-0.17.0
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop/ #显式设置HADOOP_HOME变量，确保库和你实际使用的HADOOP版本兼容

export PATH=$PATH:$PIG_HOME/bin
如果没有设置JAVA环境变量，此时还需要设置JAVA_HOME，比如：
export JAVA_HOME=/usr/local/jdk1.7.0_51
说明：
PIG_CLASSPATH变量 是PIG配置MapReduce模式，让Pig软件找到Hadoop集群，这里是告诉pig软件hadoop的配置文件在哪里，通过一系列配置文件core_site.xml hdfs-site.xml mapred-site.xml 可以找到关键参数NameNode 和 JobTracker 的位置以及端口信息，有了这些信息就可以对整个集群进行控制了。

4）验证
执行以下命令，查看Pig是否可用

到此，相信大家对“Hadoop和pig怎么安装”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

本文名称：Hadoop和pig怎么安装
文章链接：https://www.cdcxhl.com/article22/ijojjc.html

成都网站建设公司_创新互联，为您提供企业建站、品牌网站制作、微信公众号、网站策划、网站改版、外贸建站

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联