一、主机

选择一:搭建服务器

搭建服务器可以通过比较低的价格获得比较强的性能,代价是需要自己从配置选择、虚拟机配置、网络配置、环境配置等一步步做起。
我的推荐配置:
CPU:E5-1280 V3,750
内存:三星DDR3 1600 REG ECC 16G*4,800
主板:华南金牌X99(要不是找不到别家的能支持ddr3的主板,我才不会选寨板),500
存储和机电就随便了,这个价格这个性能很香了

选择二:云主机

优点是方便可靠,同时无需担心网络和电费的开销,缺点是贵,真TM贵

我的选择:

在前期的学习先使用阿里云10块钱一个月的学生计划,1核1G(又不是不能用),等到双11整一台自己的服务器他不香吗


二、环境配置

1. 修改本机hosts

  1. vim /etc/hosts

然后添加你的云主机的公网ip和机器名,之后就可以用机器名配置ssh连接了

2. 使用SSH连接云服务器

ssh root@mubai01

回车后输入密码,即可连接上云服务器。
如果不想每次都输入密码,可以将公钥添加至服务器。

#生成密钥对
ssh-keygen
#将公钥拷贝到目的机的~/.ssh/authorized_key文件中
ssh-copy-id -i root@mubai01

3. 添加用户

阿里云主机是使用root账户登陆的,其实使用root账户是更加方便的,但是在企业的环境里你几乎不可能拥有root权限,所以为了模拟这种情况我还是添加一个账户进行操作。

#添加用户
useradd mubai
#修改用户的组
gpasswd -a mubai root

4. 安装JDK和Hadoop

1) 准备安装包

jdk从apache官网下载,选择jdk1.8的linux x64版本
hadoop到清华的镜像下载,官网太慢,地址是https://mirrors.tuna.tsinghua.edu.cn/,啥都有。其中https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/有hadoop的各个版本,我选择的是3.1.4,下载最大的.tat.gz文件即可

2) 将安装包拷贝至云主机

scp ~/Download/jdk-8u261-linux-x64.tar.gz mubai@mubai01:/opt/mubai/software
scp ~/Download/hadoop-3.1.4.tar.gz mubai@mubai01:/opt/mubai/software

3) 解压安装包至module

tar -zxvf ./jdk-8u261-linux-x64.tar.gz ../module
tar -zxvf ./hadoop-3.1.4.tar.gz ../module

4) 配置环境变量

sudo vim /etc/profile

在文件中添加以下两行

#JAVA_HOME
export JAVA_HOME=/opt/mubai/module/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/mubai/module/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

测试一下
image.png
image.png