大数据 on 李先生的树洞

Docker 大数据集群高可用部署

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

Docker 大数据集群高可用部署
#

Docker Compose 编排的 32 容器全组件 HA 大数据集群，用于本地测试与学习。

架构概述
#

 ┌─────────────────────────────────────────────────┐
 │ Docker Bridge: bigdata-net │
 │ 172.25.0.0/16 │
 ├─────────────────────────────────────────────────┤
 │ Layer 0 (base): MySQL + ZooKeeper x3 │
 │ Layer 1 (storage): JournalNode x3 │
 │ Layer 2 (storage): NameNode x2 + ZKFC x2 │
 │ Layer 3 (storage): DataNode x3 │
 │ Layer 4 (compute): ResourceManager x2 + NM x3 │
 │ Layer 5 (analytics): Hive Metastore/Server2 │
 │ Layer 6 (analytics): HBase x5 + Kafka x3 │
 │ Layer 7 (analytics): Spark + Flink History │
 └─────────────────────────────────────────────────┘

组件	版本	HA 方案	容器数
HDFS	3.3.6	双 NameNode + 3 JournalNode + ZKFC	10
YARN	3.3.6	双 ResourceManager + ZK 状态存储	6
ZooKeeper	3.7.1	3 节点仲裁	3
HBase	2.6.4	双 Master + ZK 发现	5
Hive	3.1.3	Metastore + Server2（独立容器）	2
Kafka	2.8.0	3 Broker + ZK 协调	3
Spark	3.5.8	History Server（YARN 模式按需提交）	1
Flink	1.19.1	History Server（YARN 模式按需提交）	1
MySQL	5.7	—	1

总计：32 容器，~10-11GB 内存

大数据集群 Ansible 自动化部署教程

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

大数据集群 Ansible 自动化部署教程
#

基于 Ansible 的声明式自动化部署方案，与现有 Shell/Python 脚本并存，适用于 3-10 节点集群。

一、前置准备
#

1.1 管理机要求
#

需求	说明
OS	Linux / macOS（Windows WSL 兼容）
Ansible	>= 2.15（安装方法见下）
sshpass	`yum install sshpass`（CentOS）或 `apt install sshpass`（Ubuntu）
网络	可 SSH 到达所有集群节点

1.2 集群节点要求
#

需求	说明
OS	CentOS 7.9+ / Rocky Linux 8+
SSH	已启用、密码认证或密钥认证
Sudo	hadoop 用户有 sudo 权限
磁盘	`/opt/module` 至少 10GB 可用空间

1.3 安装 Ansible
#

# CentOS / Rocky
sudo yum install -y epel-release
sudo yum install -y ansible

# Ubuntu / Debian
sudo apt update && sudo apt install -y ansible

# macOS
brew install ansible

# 验证安装
ansible --version # 应显示 >= 2.15

1.4 本地缓存安装包（推荐，加速部署）
#

cd ansible/files/cache/

# 下载 Hadoop 各组件，已下载的跳过（共约 1.8GB）
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.6.4/hbase-2.6.4-hadoop3-bin.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.8/spark-3.5.8-bin-hadoop3-scala2.13.tgz
wget -c https://maven.aliyun.com/repository/public/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar

JDK 需预先手动解压到所有节点的 /opt/module/jdk1.8.0_471（或通过 common role 自动下载，但 Adoptium 镜像速度较慢，建议手动安装）。

大数据集群分布式部署教程

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

大数据集群分布式部署教程（完整验证版）
#

本教程提供每一步都可复制执行的大数据集群部署方案，包含全部配置文件的完整内容。所有步骤已在 3 节点 CentOS 7.9 集群上验证通过。

变量适配说明
#

部署新集群时，将教程中的以下值替换为实际环境配置：

变量	教程示例值	替换为你的值
域名后缀	`pblh123.cn`	你的域名，无域名的用 `localdomain`
节点数量	3	实际节点数（需同步调整副本数、ZK myid、Kafka broker.id）
主节点	`hd2` / `192.168.137.155`	你的主节点主机名/IP
节点2	`hd3` / `192.168.137.156`	你的第二个节点
节点3	`hd4` / `192.168.137.157`	你的第三个节点
Hadoop版本	`hadoop-3.3.6`	实际安装版本目录名
JDK版本	`jdk1.8.0_471`	实际安装版本目录名
HDFS副本数	`2`	通常设为 min(节点数, 3)
MySQL密码	`Hive@12345`	你的MySQL hive用户密码
安装根目录	`/opt/module`	各组件解压目录
数据根目录	`/opt/data`	HDFS/ZK/Kafka 数据存储目录
NodeManager内存	hd2:2800, hd3:2000, hd4:1200	按实际物理内存的70-80%分配(MB)
SSH用户	`hadoop`	运行服务的系统用户
SSH密码	`hadoop`	相应密码

替换公式: ${组件路径} = /opt/module/${版本目录名}，教程中所有路径均由公式推导，修改版本号后路径自动适用。

电商用户画像系统

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

电商用户画像系统
#

项目概述
#

电商用户画像系统是一个基于大数据技术的用户分析平台，旨在通过收集、分析用户的行为数据，构建精准的用户画像，为电商平台的个性化推荐、精准营销和用户体验优化提供数据支持。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到画像构建、应用的完整流程。

技术栈版本
#

组件	版本	说明
Spark	3.5.8	分布式计算引擎
Scala	2.13.8	开发语言
JDK	11	Java运行环境
Kafka	3.7.0	消息队列
Redis	7.0+	热数据缓存
MySQL	8.0	结构化数据存储
HBase	2.5.x	标签数据存储
Hive	3.1.x	数据仓库
Hadoop	3.3.x	分布式存储

知识点讲解
#

知识点1：用户画像概述
#

什么是用户画像
#

用户画像（User Profile）是将用户的多维度信息进行标签化、结构化描述的一种数据模型。它通过对用户的基础属性、行为特征、消费偏好等信息进行抽象和归纳，形成对用户的全面刻画。简单来说，用户画像就是用数据为用户"画一张像"。

汽车大数据分析系统

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

汽车大数据分析系统
#

项目概述
#

汽车大数据分析系统是一个综合性的企业级大数据解决方案，旨在通过收集、存储和分析汽车行业的各类数据，为汽车制造商、经销商和消费者提供有价值的洞察。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到分析、可视化的完整流程。

项目采用Lambda架构实现批处理与流处理的协同，通过Spark Streaming微批次处理实现实时数据分析，结合HBase存储海量传感器时序数据、MySQL存储业务结构化数据，构建了完整的车联网数据处理平台。

知识点讲解
#

知识点1：车联网数据特征
#

车联网（Internet of Vehicles, IoV）是物联网在交通领域的典型应用，其数据具有鲜明的行业特征。理解这些特征是设计合理数据处理架构的前提。

数据类型
#

数据类型	来源	数据格式	采集频率	典型用途
传感器数据	发动机温度、机油压力、冷却液温度、轮胎压力、燃油液位、电池电压	结构化数值	1-100Hz	实时监控、故障预警
GPS轨迹数据	车载GPS模块	经纬度+时间戳	1-10Hz	路径规划、行为分析
OBD诊断数据	车载OBD-II接口	DTC故障码+参数	事件触发	故障诊断、维修预测
驾驶行为数据	加速度计、陀螺仪、方向盘传感器	多维向量	10-100Hz	驾驶评分、保险定价

数据特征
#

特征维度	描述	技术挑战	应对策略
高吞吐	单车每日可产生数GB数据，百万级车队每日PB级	存储、传输、处理压力巨大	分层存储、数据压缩、边缘计算
实时性	安全相关数据需毫秒级响应（如碰撞预警）	低延迟处理要求	流式计算、内存计算
多源异构	不同品牌、不同车型数据格式不统一	数据整合困难	统一数据模型、Schema Registry
时序性	数据带有严格的时间顺序	时序查询、窗口计算	时序数据库、窗口函数
价值密度低	大量正常数据中蕴含少量异常信息	有效信息提取	异常检测算法、采样策略

类比理解：车联网数据就像一个大型医院的监护系统——每张病床（每辆车）上的各种监护仪（传感器）持续产生心率、血压、血氧等数据（传感器数据），护士站（数据处理中心）需要实时监控所有病床的状态，一旦某项指标异常（故障预警），必须立即响应。而每天的例行查房记录（批处理分析）则用于长期健康趋势分析。

商品推荐系统

pblh123@126.com (John Lee) — Fri, 29 May 2026 00:00:00 +0000

商品推荐系统
#

实验目的
#

本实验旨在通过Spark MLlib实现电商平台的企业级商品推荐系统，掌握以下核心技能：

理解推荐系统的核心算法原理（协同过滤、基于内容、混合推荐）
实现基于ALS的协同过滤推荐算法
实现基于TF-IDF的内容推荐算法
构建加权混合推荐系统
掌握推荐系统的多维度评估方法
实现推荐系统的生产级部署方案

知识点1：推荐系统概述
#

1.1 什么是推荐系统
#

推荐系统（Recommendation System）是信息过滤系统的一个子类，用于预测用户对物品的"评分"或"偏好"。在电商场景中，推荐系统帮助用户从海量商品中发现感兴趣的内容，同时帮助平台提升转化率和用户黏性。

推荐系统的核心目标：

目标	说明	衡量指标
准确性	推荐的物品符合用户兴趣	RMSE、Precision、Recall
多样性	推荐列表覆盖不同类别	覆盖率、熵
新颖性	推荐用户未发现但感兴趣的物品	长尾覆盖率
实时性	及时响应用户行为变化	延迟时间

1.2 推荐系统分类
#

推荐系统
├── 基于人口的统计学推荐（Demographic-based）
│ └── 根据用户基本信息（年龄、性别、地区）推荐
├── 协同过滤推荐（Collaborative Filtering）
│ ├── 基于用户的协同过滤（User-CF）
│ ├── 基于物品的协同过滤（Item-CF）
│ └── 基于模型的协同过滤（Model-based CF，如ALS）
├── 基于内容的推荐（Content-based）
│ ├── 基于物品属性（TF-IDF、Word2Vec）
│ └── 基于用户画像
└── 混合推荐（Hybrid）
 ├── 加权混合
 ├── 切换混合
 ├── 特征组合
 └── 级联混合

1.3 电商推荐场景
#

场景	推荐策略	典型位置
首页推荐	热门+个性化混合	首页商品流
猜你喜欢	协同过滤+内容	个人中心
相似商品	基于内容	商品详情页
购后推荐	关联规则+协同过滤	订单完成页
搜索推荐	搜索词+用户画像	搜索结果页

知识点2：协同过滤与ALS算法原理
#

2.1 协同过滤的核心思想
#

协同过滤的核心假设：如果两个用户在过去对某些物品有相似的偏好，那么他们在未来对其他物品也会有相似的偏好。

大数据 on 李先生的树洞

Docker 大数据集群高可用部署

Docker 大数据集群高可用部署 #

架构概述 #

大数据集群 Ansible 自动化部署教程

大数据集群 Ansible 自动化部署教程 #

一、前置准备 #

1.1 管理机要求 #

1.2 集群节点要求 #

1.3 安装 Ansible #

1.4 本地缓存安装包（推荐，加速部署） #

大数据集群分布式部署教程

大数据集群分布式部署教程（完整验证版） #

变量适配说明 #

电商用户画像系统

电商用户画像系统 #

项目概述 #

技术栈版本 #

知识点讲解 #

知识点1：用户画像概述 #

什么是用户画像 #

汽车大数据分析系统

汽车大数据分析系统 #

项目概述 #

知识点讲解 #

知识点1：车联网数据特征 #

数据类型 #

数据特征 #

商品推荐系统

商品推荐系统 #

实验目的 #

知识点1：推荐系统概述 #

1.1 什么是推荐系统 #

1.2 推荐系统分类 #

1.3 电商推荐场景 #

知识点2：协同过滤与ALS算法原理 #

2.1 协同过滤的核心思想 #

Docker 大数据集群高可用部署
#

架构概述
#

大数据集群 Ansible 自动化部署教程
#

一、前置准备
#

1.1 管理机要求
#

1.2 集群节点要求
#

1.3 安装 Ansible
#

1.4 本地缓存安装包（推荐，加速部署）
#

大数据集群分布式部署教程（完整验证版）
#

变量适配说明
#

电商用户画像系统
#

项目概述
#

技术栈版本
#

知识点讲解
#

知识点1：用户画像概述
#

什么是用户画像
#

汽车大数据分析系统
#

项目概述
#

知识点讲解
#

知识点1：车联网数据特征
#

数据类型
#

数据特征
#

商品推荐系统
#

实验目的
#

知识点1：推荐系统概述
#

1.1 什么是推荐系统
#

1.2 推荐系统分类
#

1.3 电商推荐场景
#

知识点2：协同过滤与ALS算法原理
#

2.1 协同过滤的核心思想
#