Hadoop2.2.0如何编译

这篇文章主要介绍Hadoop2.2.0如何编译,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新新互联,凭借十载的成都做网站、成都网站设计、成都外贸网站建设经验,本着真心·诚心服务的企业理念服务于成都中小企业设计网站有上1000+案例。做网站建设,选成都创新互联

Apache提供了Hadoop2.2.0 32位版本以及源码,但是目前系统中大多使用的是64位系统,所以我们需要自己利用源码进行重新编译64位版本。

我使用的是Ubuntu12版本系统

安装依赖包的命令

sudo port install libtool
sudo port install cmake
sudo port install ncurses 
sudo port install openssl 
sudo port install maven3  

还需要安装jdk,jdk请使用1.6或1.7版(推荐)。

注:jdk 1.8 编译会出现问题,具体原因不明

还需要安装ssh

sudo apt-get install openssh-client
sudo apt-get install openssh-server

maven

sudo apt-get install maven

如果需要编译时生成doc文档,则需要安装findbugs

http://sourceforge.jp/projects/sfnet_findbugs/releases/

解压配置findbugs

通信使用到了rcp 所以需要protoc

https://code.google.com/p/protobuf/downloads/list

编译前需要先修改hadoop源码中的一个配置(这应该是hadoop中的一个BUG)

hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/pom.xml


第55行下增加内容变为:

56    <dependency>
         <groupId>org.mortbay.jetty</groupId>
         <artifactId>jetty-util</artifactId>
         <scope>test</scope>
    </dependency>
    <dependency>
         <groupId>org.mortbay.jetty</groupId>
         <artifactId>jetty</artifactId>
         <scope>test</scope>
    </dependency>

编译命令

生成docs

mvn package -DskipTests -Pdist,native,docs

不生成docs

mvn package -DskipTests -Pdist,native

我编译源码时/etc/profile文件中的一些配置信息

export JAVA_HOME=/usr/app/jdk1.7.0_25

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export PATH=/home/ricardo/apache-maven-3.0.5/bin:$PATH

export FINDBUGS_HOME=/home/ricardo/findbugs-3.0.0

export PATH=FINDBUGS_HOME/bin:$PATH

export HADOOP_PROTOC_PAT=/usr/local/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

export FORREST_HOME=/home/ricardo/apache-forrest-0.9

export PATH=$PATH:$FORREST_HOME/bin

编译的整个过程大约需要40多分钟,具体时间取决于网络与计算机性能

以上是“Hadoop2.2.0如何编译”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!

网页名称:Hadoop2.2.0如何编译
网站URL:https://www.cdcxhl.com/article28/pechcp.html

成都网站建设公司_创新互联,为您提供关键词优化网站收录外贸建站网站营销静态网站网站制作

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都定制网站网页设计