七叶笔记 » java编程 » 详解Hadoop2.7.2 编译64位源码

详解Hadoop2.7.2 编译64位源码

3.更新profile文件

source /etc/profile

4.验证安装是否成功

验证命令:jps  出现jps进程表示安装配置成功

2.Maven

1.解压&重命名

2.修改配置文件

vim /export/compile/maven/conf/settings.xml

添加阿里云镜像地址:

3.配置环境变量

4.更新profile文件

source /etc/profile

5.验证安装是否成功

验证命令:mvn -version   出现版本信息表示安装成功

3.ant

1.解压&重命名

2.配置环境变量

3.更新profile文件

source /etc/profile

4.验证安装是否成功

验证命令:ant -version   出现版本信息表示安装成功

4.glibc-headers

5.make和cmake

6.protobuf

1.解压&重命名&进入protobuf根目录

2.依次执行如下命令

1 ./configure 2 make 3 make check 4 make install 5 ldconfig

3.配置环境变量

4.更新profile文件

source /etc/profile

5.验证安装是否成功

验证命令:protoc --version  出现版本信息表示安装成功

7.安装openssl库

yum -y install openssl-devel

8.安装 ncurses-devel库

yum -y install ncurses-devel

二、编译源码

1.解压

tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile

2.进入hadoop源码主目录

/export/compile/hadoop-2.7.2-src

3.通过maven执行编译命令

mvn package -Pdist,native -DskipTests -Dtar

4.然后就是漫长的等待...(大约等待时间30分钟左右,最终成功是全部SUCCESS,如下图所示)

5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目录下

三、编译源码过程中常见的问题及解决方案

(1)MAVEN install时候JVM内存溢出

原因以及处理方式:在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。 (详情查阅MAVEN 编译 JVM调优问题,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)

(2)编译期间maven报错

原因以及处理方式:可能网络阻塞问题导致依赖库下载不完整导致,多次执行命令(一次通过比较难):

mvn package -Pdist,nativeN -DskipTests -Dtar

(3)报ant、protobuf等错误

原因以及处理方式:插件下载未完整或者插件版本问题,最开始链接有较多特殊情况。

总结

到此这篇关于Hadoop2.7.2 编译64位源码的文章就介绍到这了,更多相关Hadoop 编译源码内容请搜索七叶笔记以前的文章或继续浏览下面的相关文章希望大家以后多多支持七叶笔记!

相关文章