Hadoop on 李先生的树洞https://blog.pblhlyr.top/tags/hadoop/Recent content in Hadoop on 李先生的树洞Hugo -- gohugo.iozh-cnpblh123@126.com (John Lee)pblh123@126.com (John Lee)© 2026 John LeeFri, 29 May 2026 00:00:00 +0000Big Data Cluster Distributed Deployment Guidehttps://blog.pblhlyr.top/en/posts/big-data-cluster-distributed-deployment-guide/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/en/posts/big-data-cluster-distributed-deployment-guide/<h1 class="relative group">Big Data Cluster Distributed Deployment Guide (Fully Verified) <div id="big-data-cluster-distributed-deployment-guide-fully-verified" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#big-data-cluster-distributed-deployment-guide-fully-verified" aria-label="锚点">#</a> </span> </h1> <p>A copy-paste-ready deployment guide for a complete big data cluster. Every configuration file is shown in full. All steps are verified on a 3-node CentOS 7.9 cluster.</p> <h2 class="relative group">Variable Substitution Reference <div id="variable-substitution-reference" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#variable-substitution-reference" aria-label="锚点">#</a> </span> </h2> <p>When deploying to a new cluster, replace these values:</p>大数据集群分布式部署教程https://blog.pblhlyr.top/posts/%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%9B%86%E7%BE%A4%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%9B%86%E7%BE%A4%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B/<h1 class="relative group">大数据集群分布式部署教程（完整验证版） <div id="大数据集群分布式部署教程完整验证版" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%a4%a7%e6%95%b0%e6%8d%ae%e9%9b%86%e7%be%a4%e5%88%86%e5%b8%83%e5%bc%8f%e9%83%a8%e7%bd%b2%e6%95%99%e7%a8%8b%e5%ae%8c%e6%95%b4%e9%aa%8c%e8%af%81%e7%89%88" aria-label="锚点">#</a> </span> </h1> <p>本教程提供<strong>每一步都可复制执行</strong>的大数据集群部署方案，包含全部配置文件的完整内容。所有步骤已在 3 节点 CentOS 7.9 集群上验证通过。</p> <h2 class="relative group">变量适配说明 <div id="变量适配说明" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%8f%98%e9%87%8f%e9%80%82%e9%85%8d%e8%af%b4%e6%98%8e" aria-label="锚点">#</a> </span> </h2> <p>部署新集群时，将教程中的以下值替换为实际环境配置：</p> <table> <thead> <tr> <th>变量</th> <th>教程示例值</th> <th>替换为你的值</th> </tr> </thead> <tbody> <tr> <td>域名后缀</td> <td><code>pblh123.cn</code></td> <td>你的域名，无域名的用 <code>localdomain</code></td> </tr> <tr> <td>节点数量</td> <td>3</td> <td>实际节点数（需同步调整副本数、ZK myid、Kafka broker.id）</td> </tr> <tr> <td>主节点</td> <td><code>hd2</code> / <code>192.168.137.155</code></td> <td>你的主节点主机名/IP</td> </tr> <tr> <td>节点2</td> <td><code>hd3</code> / <code>192.168.137.156</code></td> <td>你的第二个节点</td> </tr> <tr> <td>节点3</td> <td><code>hd4</code> / <code>192.168.137.157</code></td> <td>你的第三个节点</td> </tr> <tr> <td>Hadoop版本</td> <td><code>hadoop-3.3.6</code></td> <td>实际安装版本目录名</td> </tr> <tr> <td>JDK版本</td> <td><code>jdk1.8.0_471</code></td> <td>实际安装版本目录名</td> </tr> <tr> <td>HDFS副本数</td> <td><code>2</code></td> <td>通常设为 min(节点数, 3)</td> </tr> <tr> <td>MySQL密码</td> <td><code>Hive@12345</code></td> <td>你的MySQL hive用户密码</td> </tr> <tr> <td>安装根目录</td> <td><code>/opt/module</code></td> <td>各组件解压目录</td> </tr> <tr> <td>数据根目录</td> <td><code>/opt/data</code></td> <td>HDFS/ZK/Kafka 数据存储目录</td> </tr> <tr> <td>NodeManager内存</td> <td>hd2:2800, hd3:2000, hd4:1200</td> <td>按实际物理内存的70-80%分配(MB)</td> </tr> <tr> <td>SSH用户</td> <td><code>hadoop</code></td> <td>运行服务的系统用户</td> </tr> <tr> <td>SSH密码</td> <td><code>hadoop</code></td> <td>相应密码</td> </tr> </tbody> </table> <blockquote><p><strong>替换公式</strong>: <code>${组件路径} = /opt/module/${版本目录名}</code>，教程中所有路径均由公式推导，修改版本号后路径自动适用。</p>电商用户画像系统https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-2-%E7%94%B5%E5%95%86%E7%94%A8%E6%88%B7%E7%94%BB%E5%83%8F%E7%B3%BB%E7%BB%9F/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-2-%E7%94%B5%E5%95%86%E7%94%A8%E6%88%B7%E7%94%BB%E5%83%8F%E7%B3%BB%E7%BB%9F/<h1 class="relative group">电商用户画像系统 <div id="电商用户画像系统" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%94%b5%e5%95%86%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f%e7%b3%bb%e7%bb%9f" aria-label="锚点">#</a> </span> </h1> <h2 class="relative group">项目概述 <div id="项目概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e9%a1%b9%e7%9b%ae%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h2> <p>电商用户画像系统是一个基于大数据技术的用户分析平台，旨在通过收集、分析用户的行为数据，构建精准的用户画像，为电商平台的个性化推荐、精准营销和用户体验优化提供数据支持。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到画像构建、应用的完整流程。</p> <h3 class="relative group">技术栈版本 <div id="技术栈版本" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%8a%80%e6%9c%af%e6%a0%88%e7%89%88%e6%9c%ac" aria-label="锚点">#</a> </span> </h3> <table> <thead> <tr> <th>组件</th> <th>版本</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>Spark</td> <td>3.5.8</td> <td>分布式计算引擎</td> </tr> <tr> <td>Scala</td> <td>2.13.8</td> <td>开发语言</td> </tr> <tr> <td>JDK</td> <td>11</td> <td>Java运行环境</td> </tr> <tr> <td>Kafka</td> <td>3.7.0</td> <td>消息队列</td> </tr> <tr> <td>Redis</td> <td>7.0+</td> <td>热数据缓存</td> </tr> <tr> <td>MySQL</td> <td>8.0</td> <td>结构化数据存储</td> </tr> <tr> <td>HBase</td> <td>2.5.x</td> <td>标签数据存储</td> </tr> <tr> <td>Hive</td> <td>3.1.x</td> <td>数据仓库</td> </tr> <tr> <td>Hadoop</td> <td>3.3.x</td> <td>分布式存储</td> </tr> </tbody> </table> <hr> <h2 class="relative group">知识点讲解 <div id="知识点讲解" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b9%e8%ae%b2%e8%a7%a3" aria-label="锚点">#</a> </span> </h2> <h3 class="relative group">知识点1：用户画像概述 <div id="知识点1用户画像概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b91%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h3> <h4 class="relative group">什么是用户画像 <div id="什么是用户画像" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%bb%80%e4%b9%88%e6%98%af%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f" aria-label="锚点">#</a> </span> </h4> <p>用户画像（User Profile）是将用户的多维度信息进行标签化、结构化描述的一种数据模型。它通过对用户的基础属性、行为特征、消费偏好等信息进行抽象和归纳，形成对用户的全面刻画。简单来说，用户画像就是用数据为用户&quot;画一张像&quot;。</p>汽车大数据分析系统https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-1-%E6%B1%BD%E8%BD%A6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-1-%E6%B1%BD%E8%BD%A6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F/<h1 class="relative group">汽车大数据分析系统 <div id="汽车大数据分析系统" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%b1%bd%e8%bd%a6%e5%a4%a7%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90%e7%b3%bb%e7%bb%9f" aria-label="锚点">#</a> </span> </h1> <h2 class="relative group">项目概述 <div id="项目概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e9%a1%b9%e7%9b%ae%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h2> <p>汽车大数据分析系统是一个综合性的企业级大数据解决方案，旨在通过收集、存储和分析汽车行业的各类数据，为汽车制造商、经销商和消费者提供有价值的洞察。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到分析、可视化的完整流程。</p> <p>项目采用Lambda架构实现批处理与流处理的协同，通过Spark Streaming微批次处理实现实时数据分析，结合HBase存储海量传感器时序数据、MySQL存储业务结构化数据，构建了完整的车联网数据处理平台。</p> <hr> <h2 class="relative group">知识点讲解 <div id="知识点讲解" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b9%e8%ae%b2%e8%a7%a3" aria-label="锚点">#</a> </span> </h2> <h3 class="relative group">知识点1：车联网数据特征 <div id="知识点1车联网数据特征" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b91%e8%bd%a6%e8%81%94%e7%bd%91%e6%95%b0%e6%8d%ae%e7%89%b9%e5%be%81" aria-label="锚点">#</a> </span> </h3> <p>车联网（Internet of Vehicles, IoV）是物联网在交通领域的典型应用，其数据具有鲜明的行业特征。理解这些特征是设计合理数据处理架构的前提。</p> <h4 class="relative group">数据类型 <div id="数据类型" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%95%b0%e6%8d%ae%e7%b1%bb%e5%9e%8b" aria-label="锚点">#</a> </span> </h4> <table> <thead> <tr> <th>数据类型</th> <th>来源</th> <th>数据格式</th> <th>采集频率</th> <th>典型用途</th> </tr> </thead> <tbody> <tr> <td>传感器数据</td> <td>发动机温度、机油压力、冷却液温度、轮胎压力、燃油液位、电池电压</td> <td>结构化数值</td> <td>1-100Hz</td> <td>实时监控、故障预警</td> </tr> <tr> <td>GPS轨迹数据</td> <td>车载GPS模块</td> <td>经纬度+时间戳</td> <td>1-10Hz</td> <td>路径规划、行为分析</td> </tr> <tr> <td>OBD诊断数据</td> <td>车载OBD-II接口</td> <td>DTC故障码+参数</td> <td>事件触发</td> <td>故障诊断、维修预测</td> </tr> <tr> <td>驾驶行为数据</td> <td>加速度计、陀螺仪、方向盘传感器</td> <td>多维向量</td> <td>10-100Hz</td> <td>驾驶评分、保险定价</td> </tr> </tbody> </table> <h4 class="relative group">数据特征 <div id="数据特征" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%95%b0%e6%8d%ae%e7%89%b9%e5%be%81" aria-label="锚点">#</a> </span> </h4> <table> <thead> <tr> <th>特征维度</th> <th>描述</th> <th>技术挑战</th> <th>应对策略</th> </tr> </thead> <tbody> <tr> <td><strong>高吞吐</strong></td> <td>单车每日可产生数GB数据，百万级车队每日PB级</td> <td>存储、传输、处理压力巨大</td> <td>分层存储、数据压缩、边缘计算</td> </tr> <tr> <td><strong>实时性</strong></td> <td>安全相关数据需毫秒级响应（如碰撞预警）</td> <td>低延迟处理要求</td> <td>流式计算、内存计算</td> </tr> <tr> <td><strong>多源异构</strong></td> <td>不同品牌、不同车型数据格式不统一</td> <td>数据整合困难</td> <td>统一数据模型、Schema Registry</td> </tr> <tr> <td><strong>时序性</strong></td> <td>数据带有严格的时间顺序</td> <td>时序查询、窗口计算</td> <td>时序数据库、窗口函数</td> </tr> <tr> <td><strong>价值密度低</strong></td> <td>大量正常数据中蕴含少量异常信息</td> <td>有效信息提取</td> <td>异常检测算法、采样策略</td> </tr> </tbody> </table> <blockquote><p><strong>类比理解</strong>：车联网数据就像一个大型医院的监护系统——每张病床（每辆车）上的各种监护仪（传感器）持续产生心率、血压、血氧等数据（传感器数据），护士站（数据处理中心）需要实时监控所有病床的状态，一旦某项指标异常（故障预警），必须立即响应。而每天的例行查房记录（批处理分析）则用于长期健康趋势分析。</p>