一、配置编译环境

安装基本库

使用yum安装。
yum install wget patch openssl-devel zlib-devel automake libtool make cmake libstdc++-static glibc-static git gcc gcc-c++

安装OpenJDK

下载OpenJDK源码并安装到指定目录(如“/opt/tools/installed”)。
wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz

tar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz
mv jdk8u191-b12 /opt/tools/installed/

配置java环境变量,在“/etc/profile”文件末尾处增加下面的代码。
export JAVA_HOME=/opt/tools/installed/jdk8u191-b12
export PATH=$JAVA_HOME/bin:$PATH
按ESC键,输入:wq保存并退出。
运行下面命令,使修改的环境变量生效。
source /etc/profile

安装Maven

下载并安装到指定目录(如“/opt/tools/installed”)。
wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz

tar -zxf apache-maven-3.5.4-bin.tar.gz
mv apache-maven-3.5.4 /opt/tools/installed/

修改Maven环境变量,在/etc/profile文件末尾增加下面代码。
export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH

运行下面的命令,是修改的环境变量生效。
source /etc/profile

修改Maven配置文件中的:本地仓路径、远程仓等。
配置文件路径:“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”
本地仓库配置:

  1. <localRepository>/path/to/local/repo</localRepository>

说明:
本地仓库地址默认在“~/.m2/”目录下,如果想修改成指定目录,则修改localRepository标签,没有特殊需求,可不必修改该参数。

  1. <mirror>
  2. <id>huaweimaven</id>
  3. <name>huawei maven</name>
  4. <url>https://mirrors.huaweicloud.com/repository/maven/</url>
  5. <mirrorOf>central</mirrorOf>
  6. </mirror>

远程仓库配置(修改成自己搭建的Maven仓库,如果没有,可以下面配置):

  1. <mirror>
  2. <id>huaweimaven</id>
  3. <name>huawei maven</name>
  4. <url>https://mirrors.huaweicloud.com/repository/maven/</url>
  5. <mirrorOf>central</mirrorOf>
  6. </mirror>

当编译环境不能访问外网,需要在settings.xml配置文件中添加代理配置,具体内容如下:

  1. <proxies>
  2. <proxy>
  3. <id>optional</id>
  4. <active>true</active>
  5. <protocol>http</protocol>
  6. <username>用户名</username>
  7. <password>密码</password>
  8. <host>代理服务器网址</host>
  9. <port>代理服务器端口</port>
  10. <nonProxyHosts>local.net|some.host.com</nonProxyHosts>
  11. </proxy>
  12. </proxies>

安装GCC

挂载OS镜像。
mount YOUR_OS.iso /media -o loop

说明:
YOUR_OS.iso用实际的iso包名代替。

备份yum repo文件,清空/etc/yum.repos.d/目录文件。
cp -r /etc/yum.repos.d /etc/yum.repos.d-bak
rm /etc/yum.repos.d/*

须知:
请确认已经备份所有repo文件后,在rm删除界面输入y表示同意删除。

修改/etc/yum.repos.d/local.repo文件,配置yum本地源。

  1. [Local]
  2. name=CentOS-7.6 Local
  3. baseurl=file:///media/
  4. enabled=1
  5. gpgcheck=0

运行下面的命令,使yum源配置生效。
yum clean all
yum makecache

yum安装GCC相关软件。
yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64

安装cmake

Hadoop编译要求3.12及以上版本,本文以安装cmake 3.12.4版本为例。

下载cmake安装包。
wget https://cmake.org/files/v3.12/cmake-3.12.4.tar.gz

解压安装包。
tar -zxf cmake-3.12.4.tar.gz

编译安装cmake。
cd cmake-3.12.4
./bootstrap
make -j8
make install

安装Protoc

下载并解压源码。
wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -zxf protobuf-2.5.0.tar.gz
mv protobuf-2.5.0 /opt/tools/installed/
cd /opt/tools/installed/protobuf-2.5.0

安装依赖库。
yum -y install patch automake libtool

上传protoc.patch到服务器,打补丁,其中protoc.patch的路径视实际情况而定。
cp protoc.patch ./src/google/protobuf/stubs/
cd ./src/google/protobuf/stubs/
patch -p1 < protoc.patch
cd -

patch补丁下载路径:
https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng_solution/bigdata/Patch/protoc.zip

编译并安装到系统默认目录。
./autogen.sh && ./configure CFLAGS=’-fsigned-char’ && make -j8 && make install

二、执行移植分析

请依据《CheckSo 用户指南》扫描Phoenix安装包,分析得出需要移植的第三方依赖包如下表格。

原始jar so文件
commons-crypto-1.0.0.jar libcommons-crypto.so
leveldbjni-all-1.8.jar libleveldbjni.so
netty-all-4.0.23.Final.jar libnetty-transport-native-epoll.so
netty-all-4.1.17.Final.jar libnetty-transport-native-epoll.so
jline-2.11.jar libjansi.so
lz4-1.2.0.jar liblz4-java.so
snappy-java-1.0.5.jar libsnappyjava.so
hbase-shaded-netty-2.1.0.jar liborg_apache_hbase_thirdparty_netty_transport_native_epoll_x86_64.so
scala-compiler-2.11.8.jar libjansi.so

三、编译依赖库

  1. 请参考表 依赖包编译参考编译第三方依赖包,表1 依赖包编译参考 | 依赖包名称 | 编译方法 | | —- | —- | | jline-2.11.jar | 编译步骤请参考《jline-2.11,2.12,2.12.1,2.14.3.jar 移植指南(CentOS 7.6)》。 | | hbase-shaded-netty-2.1.0.jar | 编译步骤请参考《Hbase-shaded-netty-2.1.0 移植指南(CentOS 7.6)》。 | | lz4-1.2.0.jar | 编译步骤请参考《lz4-java-x.x.x.jar 移植指南(CentOS 7.6)》。 | | commons-crypto-1.0.0.jar | 编译步骤请参考《commons-crypto-1.0.0.jar 移植指南(CentOS 7.6)》。 | | netty-all-4.1.17.Final.jar | 编译步骤请参考《netty-all-4.1.17.Final.jar 移植指南(CentOS 7.6)》。 | | scala-compiler-2.11.8.jar | 编译步骤请参考《scala-compiler-2.11.8,2.11.12,2.12.7.jar 移植指南(CentOS 7.6)》。 | | netty-all-4.0.23.Final.jar | 编译步骤请参考《netty-all-4.0.23.Final,4.0.29.Final.jar 移植指南(CentOS 7.6)》。 | | leveldbjni-all-1.8.jar | 编译步骤请参考《leveldbjni-all-1.8.jar 移植指南(CentOS 7.6)》。 | | snappy-java-1.0.5.jar | 编译步骤请参考《snappy-java-1.0.4.1,1.0.5 移植指南(CentOS 7.6)》。 |
  1. 编译完成的jar包替换到自己搭建的maven仓库和本地仓库中。

    四、编译phoenix

  2. 从Github上下载HDP3.1 phoenix源码并解压。
    wget https://github.com/hortonworks/phoenix-release/archive/HDP-3.1.0.0-78-tag.tar.gz
    tar -zxf HDP-3.1.0.0-78-tag.tar.gz

  3. 进入phoenix源码解压目录。
    cd phoenix-release-HDP-3.1.0.0-78-tag
  4. 修改pom.xml,在文件第49行,修改Maven仓库源。

    1. https://nexus-private.hortonworks.com/nexus/content/groups/public/

    phoenix移植 - 图1

  5. 修改pom.xml,在文件第42行,添加Maven仓库源。

    1. <repository>
    2. <id>kunpengmaven</id>
    3. <name>kunpeng maven</name>
    4. <url>https://mirrors.huaweicloud.com/kunpeng/maven</url>
    5. </repository>

    phoenix移植 - 图2

  6. 执行编译。
    mvn clean package -DskipTests

  7. 编译成功后将在源码目录下./phoenix-assembly/target/目录生成phoenix-5.0.0.3.1.0.0-78.tar.gz包。phoenix移植 - 图3


五、故障排除

问题1:编译报错:Could not find artifact org.apache.tez:tez-tests:jar:tests:0.9.1.3.0.3.0-SNAPSHOT

问题现象
编译报错:“Could not find artifact org.apache.tez:tez-tests:jar:tests:0.9.1.3.0.3.0-SNAPSHOT”。
phoenix移植 - 图4
问题分析
原有的版本找不到,需要更改版本号。
解决方法
修改phonixe-hive/pom.xml第149和162行,将tez的版本号修改为:0.9.1.3.1.0.0-78。
phoenix移植 - 图5