一、配置编译环境
安装基本库
使用yum安装。
yum install wget patch openssl-devel zlib-devel automake libtool make cmake libstdc++-static glibc-static git gcc gcc-c++
安装OpenJDK
下载OpenJDK源码并安装到指定目录(如“/opt/tools/installed”)。
wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz
tar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz
mv jdk8u191-b12 /opt/tools/installed/
配置java环境变量,在“/etc/profile”文件末尾处增加下面的代码。
export JAVA_HOME=/opt/tools/installed/jdk8u191-b12
export PATH=$JAVA_HOME/bin:$PATH
按ESC键,输入:wq保存并退出。
运行下面命令,使修改的环境变量生效。
source /etc/profile
安装Maven
下载并安装到指定目录(如“/opt/tools/installed”)。
wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
tar -zxf apache-maven-3.5.4-bin.tar.gz
mv apache-maven-3.5.4 /opt/tools/installed/
修改Maven环境变量,在/etc/profile文件末尾增加下面代码。
export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH
运行下面的命令,是修改的环境变量生效。
source /etc/profile
修改Maven配置文件中的:本地仓路径、远程仓等。
配置文件路径:“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”
本地仓库配置:
<localRepository>/path/to/local/repo</localRepository>
说明:
本地仓库地址默认在“~/.m2/”目录下,如果想修改成指定目录,则修改localRepository标签,没有特殊需求,可不必修改该参数。
<mirror>
<id>huaweimaven</id>
<name>huawei maven</name>
<url>https://mirrors.huaweicloud.com/repository/maven/</url>
<mirrorOf>central</mirrorOf>
</mirror>
远程仓库配置(修改成自己搭建的Maven仓库,如果没有,可以下面配置):
<mirror>
<id>huaweimaven</id>
<name>huawei maven</name>
<url>https://mirrors.huaweicloud.com/repository/maven/</url>
<mirrorOf>central</mirrorOf>
</mirror>
当编译环境不能访问外网,需要在settings.xml配置文件中添加代理配置,具体内容如下:
<proxies>
<proxy>
<id>optional</id>
<active>true</active>
<protocol>http</protocol>
<username>用户名</username>
<password>密码</password>
<host>代理服务器网址</host>
<port>代理服务器端口</port>
<nonProxyHosts>local.net|some.host.com</nonProxyHosts>
</proxy>
</proxies>
安装GCC
挂载OS镜像。
mount YOUR_OS.iso /media -o loop
说明:
YOUR_OS.iso用实际的iso包名代替。
备份yum repo文件,清空/etc/yum.repos.d/目录文件。
cp -r /etc/yum.repos.d /etc/yum.repos.d-bak
rm /etc/yum.repos.d/*
须知:
请确认已经备份所有repo文件后,在rm删除界面输入y表示同意删除。
修改/etc/yum.repos.d/local.repo文件,配置yum本地源。
[Local]
name=CentOS-7.6 Local
baseurl=file:///media/
enabled=1
gpgcheck=0
运行下面的命令,使yum源配置生效。
yum clean all
yum makecache
yum安装GCC相关软件。
yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64
安装cmake
Hadoop编译要求3.12及以上版本,本文以安装cmake 3.12.4版本为例。
下载cmake安装包。
wget https://cmake.org/files/v3.12/cmake-3.12.4.tar.gz
解压安装包。
tar -zxf cmake-3.12.4.tar.gz
编译安装cmake。
cd cmake-3.12.4
./bootstrap
make -j8
make install
安装Protoc
下载并解压源码。
wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -zxf protobuf-2.5.0.tar.gz
mv protobuf-2.5.0 /opt/tools/installed/
cd /opt/tools/installed/protobuf-2.5.0
安装依赖库。
yum -y install patch automake libtool
上传protoc.patch到服务器,打补丁,其中protoc.patch的路径视实际情况而定。
cp protoc.patch ./src/google/protobuf/stubs/
cd ./src/google/protobuf/stubs/
patch -p1 < protoc.patch
cd -
patch补丁下载路径:
https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng_solution/bigdata/Patch/protoc.zip
编译并安装到系统默认目录。
./autogen.sh && ./configure CFLAGS=’-fsigned-char’ && make -j8 && make install
二、执行移植分析
请依据《CheckSo 用户指南》扫描Phoenix安装包,分析得出需要移植的第三方依赖包如下表格。
原始jar | so文件 |
---|---|
commons-crypto-1.0.0.jar | libcommons-crypto.so |
leveldbjni-all-1.8.jar | libleveldbjni.so |
netty-all-4.0.23.Final.jar | libnetty-transport-native-epoll.so |
netty-all-4.1.17.Final.jar | libnetty-transport-native-epoll.so |
jline-2.11.jar | libjansi.so |
lz4-1.2.0.jar | liblz4-java.so |
snappy-java-1.0.5.jar | libsnappyjava.so |
hbase-shaded-netty-2.1.0.jar | liborg_apache_hbase_thirdparty_netty_transport_native_epoll_x86_64.so |
scala-compiler-2.11.8.jar | libjansi.so |
三、编译依赖库
- 请参考表 依赖包编译参考编译第三方依赖包,表1 依赖包编译参考 | 依赖包名称 | 编译方法 | | —- | —- | | jline-2.11.jar | 编译步骤请参考《jline-2.11,2.12,2.12.1,2.14.3.jar 移植指南(CentOS 7.6)》。 | | hbase-shaded-netty-2.1.0.jar | 编译步骤请参考《Hbase-shaded-netty-2.1.0 移植指南(CentOS 7.6)》。 | | lz4-1.2.0.jar | 编译步骤请参考《lz4-java-x.x.x.jar 移植指南(CentOS 7.6)》。 | | commons-crypto-1.0.0.jar | 编译步骤请参考《commons-crypto-1.0.0.jar 移植指南(CentOS 7.6)》。 | | netty-all-4.1.17.Final.jar | 编译步骤请参考《netty-all-4.1.17.Final.jar 移植指南(CentOS 7.6)》。 | | scala-compiler-2.11.8.jar | 编译步骤请参考《scala-compiler-2.11.8,2.11.12,2.12.7.jar 移植指南(CentOS 7.6)》。 | | netty-all-4.0.23.Final.jar | 编译步骤请参考《netty-all-4.0.23.Final,4.0.29.Final.jar 移植指南(CentOS 7.6)》。 | | leveldbjni-all-1.8.jar | 编译步骤请参考《leveldbjni-all-1.8.jar 移植指南(CentOS 7.6)》。 | | snappy-java-1.0.5.jar | 编译步骤请参考《snappy-java-1.0.4.1,1.0.5 移植指南(CentOS 7.6)》。 |
编译完成的jar包替换到自己搭建的maven仓库和本地仓库中。
四、编译phoenix
从Github上下载HDP3.1 phoenix源码并解压。
wget https://github.com/hortonworks/phoenix-release/archive/HDP-3.1.0.0-78-tag.tar.gz
tar -zxf HDP-3.1.0.0-78-tag.tar.gz- 进入phoenix源码解压目录。
cd phoenix-release-HDP-3.1.0.0-78-tag 修改pom.xml,在文件第49行,修改Maven仓库源。
https://nexus-private.hortonworks.com/nexus/content/groups/public/
修改pom.xml,在文件第42行,添加Maven仓库源。
<repository>
<id>kunpengmaven</id>
<name>kunpeng maven</name>
<url>https://mirrors.huaweicloud.com/kunpeng/maven</url>
</repository>
执行编译。
mvn clean package -DskipTests- 编译成功后将在源码目录下./phoenix-assembly/target/目录生成phoenix-5.0.0.3.1.0.0-78.tar.gz包。
五、故障排除
问题1:编译报错:Could not find artifact org.apache.tez:tez-tests:jar:tests:0.9.1.3.0.3.0-SNAPSHOT
问题现象
编译报错:“Could not find artifact org.apache.tez:tez-tests:jar:tests:0.9.1.3.0.3.0-SNAPSHOT”。
问题分析
原有的版本找不到,需要更改版本号。
解决方法
修改phonixe-hive/pom.xml第149和162行,将tez的版本号修改为:0.9.1.3.1.0.0-78。