Hadoop集群
1.场景
核心：熟悉Hadoop集群搭建、网络规划及环境配置
【2019-12-14】 软件地址下载
2.虚拟机安装
略…
3.网络规划
start:
硬件配置
根据实际情况分配内存、硬盘
master: 4G、40G meizhangzheng/mzz123 192.168.1.10
slave1: 2G、40G meizhangzheng/mzz123 192.168.1.20
slave2: 2G、40G meizhangzheng/mzz123 192.168.1.30
虚拟机网络设置
NAT8、不自动分配IP、 DHCP 设置
子网：192.168.1.0
掩码：255.255.255.0
网关：192.168.1.2 （NAT配置）
4.Hadoop环境配置
（可创建桌面应用：选择 GUNE）
4.1 用户权限设置
给meizhangzheng用户设置root下的命令
#在root用户下（su - root 设置密码）
chmod u+w /etc/sudoers
vi /etc/sudoers
meizhangzheng ALL=(ALL) NOPASSWORD:ALL
4.2 关闭SELinux设置
（系统上的某些应用程序可能实际上不支持此安全机制）
可以使用meizhangzhengyong用户设置SELinux信息 (具体设置参数，有示例） ``` sudo vi /etc/sysconfig/selinux
SELINUX=disabled
#### 4.3 IP设置
```shell
# 4.3.1 通过ifconfig 查看网卡名称：ens33 ,进入网卡配置路径
cd /etc/sysconfig/network-scripts/
# 4.3.2 创建网卡
vi ifcfg-ens33
# 4.3.3 编辑网卡信息 （注意： **NAME** 、 **DEVICE** 、UUID、
IPADDR、IPADDR、GATEWAY、DNS1、 **HWADDR** ONBOOT=YES 的配置:
信息可以从ifconfig中查看）
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=5cf61487-6084-4445-9cca-c5da7205e984
DEVICE=ens33
ONBOOT=YES
IPADDR=192.168.1.10
PREFIX=24
GATEWAY=192.168.1.2
DNS1=8.8.8.8
HWADDR=00:0C:29:12:42:E2
# 4.3.4 重启网卡信息
sudo systemctl restart network
4.4 关闭防火墙
（防止因为防火墙问题，导致集群间通讯问题）
# 4.4.1 查看防火墙状态
sudo systemctl staus firewalld.service
# 4.4.2 关闭防火墙服务
sudo systemctl stop firewalld.service
# 4.4.3 禁止firewall开机启动
sudo systemctl disable firewalld.service
4.5 检查和开启ssh服务
(master /node /node 间通讯）
# 4.5.1 查看ssh服务状态
sudo systemctl status sshd.service
# 4.5.2 启动ssh服务 (running)
sudo systemctl start sshd.service
# 4.5.3 设置开机启动ssh服务
sudo systemctl enable sshd.service
4.6 配置hosts
文件信息： /etc/hosts
# 4.6.1 配置hosts
vi /etc/hosts
192.168.1.10 master
192.168.1.20 slave1
192.168.1.30 slave2
4.7 修改主机名
配置主机名( 需要与与IP对应）
sudo vi /etc/hostname # 添加内容如下：
master
4.8 配置ntp服务
节点间时间同步
4.8.1 配置ntp服务
yum install ntpdate (所有节点）
4.9 使用XShell 配置连接信息
5. JDK环境配置
export JAVA_HOME=/home/meizhangzheng/jdk1.8.0_231
export CLASSPATH=.:$JAVA_HOME/lib/jd.jar;$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH