https://blog.pblhlyr.top/tags/%E5%88%86%E5%B8%83%E5%BC%8F/Recent content in 分布式 on 李先生的树洞Hugo -- gohugo.iozh-cnpblh123@126.com (John Lee)pblh123@126.com (John Lee)© 2026 John LeeFri, 29 May 2026 00:00:00 +0000https://blog.pblhlyr.top/posts/%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%9B%86%E7%BE%A4%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%9B%86%E7%BE%A4%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B/<h1 class="relative group">大数据集群分布式部署教程（完整验证版） <div id="大数据集群分布式部署教程完整验证版" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%a4%a7%e6%95%b0%e6%8d%ae%e9%9b%86%e7%be%a4%e5%88%86%e5%b8%83%e5%bc%8f%e9%83%a8%e7%bd%b2%e6%95%99%e7%a8%8b%e5%ae%8c%e6%95%b4%e9%aa%8c%e8%af%81%e7%89%88" aria-label="锚点">#</a> </span> </h1> <p>本教程提供<strong>每一步都可复制执行</strong>的大数据集群部署方案，包含全部配置文件的完整内容。所有步骤已在 3 节点 CentOS 7.9 集群上验证通过。</p> <h2 class="relative group">变量适配说明 <div id="变量适配说明" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%8f%98%e9%87%8f%e9%80%82%e9%85%8d%e8%af%b4%e6%98%8e" aria-label="锚点">#</a> </span> </h2> <p>部署新集群时，将教程中的以下值替换为实际环境配置：</p> <table> <thead> <tr> <th>变量</th> <th>教程示例值</th> <th>替换为你的值</th> </tr> </thead> <tbody> <tr> <td>域名后缀</td> <td><code>pblh123.cn</code></td> <td>你的域名，无域名的用 <code>localdomain</code></td> </tr> <tr> <td>节点数量</td> <td>3</td> <td>实际节点数（需同步调整副本数、ZK myid、Kafka broker.id）</td> </tr> <tr> <td>主节点</td> <td><code>hd2</code> / <code>192.168.137.155</code></td> <td>你的主节点主机名/IP</td> </tr> <tr> <td>节点2</td> <td><code>hd3</code> / <code>192.168.137.156</code></td> <td>你的第二个节点</td> </tr> <tr> <td>节点3</td> <td><code>hd4</code> / <code>192.168.137.157</code></td> <td>你的第三个节点</td> </tr> <tr> <td>Hadoop版本</td> <td><code>hadoop-3.3.6</code></td> <td>实际安装版本目录名</td> </tr> <tr> <td>JDK版本</td> <td><code>jdk1.8.0_471</code></td> <td>实际安装版本目录名</td> </tr> <tr> <td>HDFS副本数</td> <td><code>2</code></td> <td>通常设为 min(节点数, 3)</td> </tr> <tr> <td>MySQL密码</td> <td><code>Hive@12345</code></td> <td>你的MySQL hive用户密码</td> </tr> <tr> <td>安装根目录</td> <td><code>/opt/module</code></td> <td>各组件解压目录</td> </tr> <tr> <td>数据根目录</td> <td><code>/opt/data</code></td> <td>HDFS/ZK/Kafka 数据存储目录</td> </tr> <tr> <td>NodeManager内存</td> <td>hd2:2800, hd3:2000, hd4:1200</td> <td>按实际物理内存的70-80%分配(MB)</td> </tr> <tr> <td>SSH用户</td> <td><code>hadoop</code></td> <td>运行服务的系统用户</td> </tr> <tr> <td>SSH密码</td> <td><code>hadoop</code></td> <td>相应密码</td> </tr> </tbody> </table> <blockquote><p><strong>替换公式</strong>: <code>${组件路径} = /opt/module/${版本目录名}</code>，教程中所有路径均由公式推导，修改版本号后路径自动适用。</p>