大数据集群 Ansible 自动化部署教程

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

大数据集群 Ansible 自动化部署教程
#

基于 Ansible 的声明式自动化部署方案，与现有 Shell/Python 脚本并存，适用于 3-10 节点集群。

一、前置准备
#

1.1 管理机要求
#

需求	说明
OS	Linux / macOS（Windows WSL 兼容）
Ansible	>= 2.15（安装方法见下）
sshpass	`yum install sshpass`（CentOS）或 `apt install sshpass`（Ubuntu）
网络	可 SSH 到达所有集群节点

1.2 集群节点要求
#

需求	说明
OS	CentOS 7.9+ / Rocky Linux 8+
SSH	已启用、密码认证或密钥认证
Sudo	hadoop 用户有 sudo 权限
磁盘	`/opt/module` 至少 10GB 可用空间

1.3 安装 Ansible
#

# CentOS / Rocky
sudo yum install -y epel-release
sudo yum install -y ansible

# Ubuntu / Debian
sudo apt update && sudo apt install -y ansible

# macOS
brew install ansible

# 验证安装
ansible --version # 应显示 >= 2.15

1.4 本地缓存安装包（推荐，加速部署）
#

cd ansible/files/cache/

# 下载 Hadoop 各组件，已下载的跳过（共约 1.8GB）
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.6.4/hbase-2.6.4-hadoop3-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.8/spark-3.5.8-bin-hadoop3-scala2.13.tgz
wget -c https://maven.aliyun.com/repository/public/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar

JDK 需预先手动解压到所有节点的 /opt/module/jdk1.8.0_471（或通过 common role 自动下载，但 Adoptium 镜像速度较慢，建议手动安装）。

大数据集群分布式部署教程

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

大数据集群分布式部署教程（完整验证版）
#

本教程提供每一步都可复制执行的大数据集群部署方案，包含全部配置文件的完整内容。所有步骤已在 3 节点 CentOS 7.9 集群上验证通过。

变量适配说明
#

部署新集群时，将教程中的以下值替换为实际环境配置：

变量	教程示例值	替换为你的值
域名后缀	`pblh123.cn`	你的域名，无域名的用 `localdomain`
节点数量	3	实际节点数（需同步调整副本数、ZK myid、Kafka broker.id）
主节点	`hd2` / `192.168.137.155`	你的主节点主机名/IP
节点2	`hd3` / `192.168.137.156`	你的第二个节点
节点3	`hd4` / `192.168.137.157`	你的第三个节点
Hadoop版本	`hadoop-3.3.6`	实际安装版本目录名
JDK版本	`jdk1.8.0_471`	实际安装版本目录名
HDFS副本数	`2`	通常设为 min(节点数, 3)
MySQL密码	`Hive@12345`	你的MySQL hive用户密码
安装根目录	`/opt/module`	各组件解压目录
数据根目录	`/opt/data`	HDFS/ZK/Kafka 数据存储目录
NodeManager内存	hd2:2800, hd3:2000, hd4:1200	按实际物理内存的70-80%分配(MB)
SSH用户	`hadoop`	运行服务的系统用户
SSH密码	`hadoop`	相应密码

替换公式: ${组件路径} = /opt/module/${版本目录名}，教程中所有路径均由公式推导，修改版本号后路径自动适用。

部署 on 李先生的树洞

大数据集群 Ansible 自动化部署教程

大数据集群 Ansible 自动化部署教程 #

一、前置准备 #

1.1 管理机要求 #

1.2 集群节点要求 #

1.3 安装 Ansible #

1.4 本地缓存安装包（推荐，加速部署） #