https://blog.pblhlyr.top/tags/kafka/Recent content in Kafka on 李先生的树洞Hugo -- gohugo.iozh-cnpblh123@126.com (John Lee)pblh123@126.com (John Lee)© 2026 John LeeFri, 29 May 2026 00:00:00 +0000https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-2-%E7%94%B5%E5%95%86%E7%94%A8%E6%88%B7%E7%94%BB%E5%83%8F%E7%B3%BB%E7%BB%9F/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-2-%E7%94%B5%E5%95%86%E7%94%A8%E6%88%B7%E7%94%BB%E5%83%8F%E7%B3%BB%E7%BB%9F/<h1 class="relative group">电商用户画像系统 <div id="电商用户画像系统" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%94%b5%e5%95%86%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f%e7%b3%bb%e7%bb%9f" aria-label="锚点">#</a> </span> </h1> <h2 class="relative group">项目概述 <div id="项目概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e9%a1%b9%e7%9b%ae%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h2> <p>电商用户画像系统是一个基于大数据技术的用户分析平台，旨在通过收集、分析用户的行为数据，构建精准的用户画像，为电商平台的个性化推荐、精准营销和用户体验优化提供数据支持。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到画像构建、应用的完整流程。</p> <h3 class="relative group">技术栈版本 <div id="技术栈版本" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%8a%80%e6%9c%af%e6%a0%88%e7%89%88%e6%9c%ac" aria-label="锚点">#</a> </span> </h3> <table> <thead> <tr> <th>组件</th> <th>版本</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>Spark</td> <td>3.5.8</td> <td>分布式计算引擎</td> </tr> <tr> <td>Scala</td> <td>2.13.8</td> <td>开发语言</td> </tr> <tr> <td>JDK</td> <td>11</td> <td>Java运行环境</td> </tr> <tr> <td>Kafka</td> <td>3.7.0</td> <td>消息队列</td> </tr> <tr> <td>Redis</td> <td>7.0+</td> <td>热数据缓存</td> </tr> <tr> <td>MySQL</td> <td>8.0</td> <td>结构化数据存储</td> </tr> <tr> <td>HBase</td> <td>2.5.x</td> <td>标签数据存储</td> </tr> <tr> <td>Hive</td> <td>3.1.x</td> <td>数据仓库</td> </tr> <tr> <td>Hadoop</td> <td>3.3.x</td> <td>分布式存储</td> </tr> </tbody> </table> <hr> <h2 class="relative group">知识点讲解 <div id="知识点讲解" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b9%e8%ae%b2%e8%a7%a3" aria-label="锚点">#</a> </span> </h2> <h3 class="relative group">知识点1：用户画像概述 <div id="知识点1用户画像概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b91%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h3> <h4 class="relative group">什么是用户画像 <div id="什么是用户画像" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%bb%80%e4%b9%88%e6%98%af%e7%94%a8%e6%88%b7%e7%94%bb%e5%83%8f" aria-label="锚点">#</a> </span> </h4> <p>用户画像（User Profile）是将用户的多维度信息进行标签化、结构化描述的一种数据模型。它通过对用户的基础属性、行为特征、消费偏好等信息进行抽象和归纳，形成对用户的全面刻画。简单来说，用户画像就是用数据为用户&quot;画一张像&quot;。</p>https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-1-%E6%B1%BD%E8%BD%A6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F/Fri, 29 May 2026 00:00:00 +0000pblh123@126.com (John Lee)https://blog.pblhlyr.top/posts/%E7%BB%BC%E5%90%88%E9%A1%B9%E7%9B%AE-1-%E6%B1%BD%E8%BD%A6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F/<h1 class="relative group">汽车大数据分析系统 <div id="汽车大数据分析系统" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%b1%bd%e8%bd%a6%e5%a4%a7%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90%e7%b3%bb%e7%bb%9f" aria-label="锚点">#</a> </span> </h1> <h2 class="relative group">项目概述 <div id="项目概述" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e9%a1%b9%e7%9b%ae%e6%a6%82%e8%bf%b0" aria-label="锚点">#</a> </span> </h2> <p>汽车大数据分析系统是一个综合性的企业级大数据解决方案，旨在通过收集、存储和分析汽车行业的各类数据，为汽车制造商、经销商和消费者提供有价值的洞察。本系统整合了Spark、Hadoop、Hive、HBase、Kafka等大数据技术，实现了从数据采集到分析、可视化的完整流程。</p> <p>项目采用Lambda架构实现批处理与流处理的协同，通过Spark Streaming微批次处理实现实时数据分析，结合HBase存储海量传感器时序数据、MySQL存储业务结构化数据，构建了完整的车联网数据处理平台。</p> <hr> <h2 class="relative group">知识点讲解 <div id="知识点讲解" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b9%e8%ae%b2%e8%a7%a3" aria-label="锚点">#</a> </span> </h2> <h3 class="relative group">知识点1：车联网数据特征 <div id="知识点1车联网数据特征" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e7%9f%a5%e8%af%86%e7%82%b91%e8%bd%a6%e8%81%94%e7%bd%91%e6%95%b0%e6%8d%ae%e7%89%b9%e5%be%81" aria-label="锚点">#</a> </span> </h3> <p>车联网（Internet of Vehicles, IoV）是物联网在交通领域的典型应用，其数据具有鲜明的行业特征。理解这些特征是设计合理数据处理架构的前提。</p> <h4 class="relative group">数据类型 <div id="数据类型" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%95%b0%e6%8d%ae%e7%b1%bb%e5%9e%8b" aria-label="锚点">#</a> </span> </h4> <table> <thead> <tr> <th>数据类型</th> <th>来源</th> <th>数据格式</th> <th>采集频率</th> <th>典型用途</th> </tr> </thead> <tbody> <tr> <td>传感器数据</td> <td>发动机温度、机油压力、冷却液温度、轮胎压力、燃油液位、电池电压</td> <td>结构化数值</td> <td>1-100Hz</td> <td>实时监控、故障预警</td> </tr> <tr> <td>GPS轨迹数据</td> <td>车载GPS模块</td> <td>经纬度+时间戳</td> <td>1-10Hz</td> <td>路径规划、行为分析</td> </tr> <tr> <td>OBD诊断数据</td> <td>车载OBD-II接口</td> <td>DTC故障码+参数</td> <td>事件触发</td> <td>故障诊断、维修预测</td> </tr> <tr> <td>驾驶行为数据</td> <td>加速度计、陀螺仪、方向盘传感器</td> <td>多维向量</td> <td>10-100Hz</td> <td>驾驶评分、保险定价</td> </tr> </tbody> </table> <h4 class="relative group">数据特征 <div id="数据特征" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%95%b0%e6%8d%ae%e7%89%b9%e5%be%81" aria-label="锚点">#</a> </span> </h4> <table> <thead> <tr> <th>特征维度</th> <th>描述</th> <th>技术挑战</th> <th>应对策略</th> </tr> </thead> <tbody> <tr> <td><strong>高吞吐</strong></td> <td>单车每日可产生数GB数据，百万级车队每日PB级</td> <td>存储、传输、处理压力巨大</td> <td>分层存储、数据压缩、边缘计算</td> </tr> <tr> <td><strong>实时性</strong></td> <td>安全相关数据需毫秒级响应（如碰撞预警）</td> <td>低延迟处理要求</td> <td>流式计算、内存计算</td> </tr> <tr> <td><strong>多源异构</strong></td> <td>不同品牌、不同车型数据格式不统一</td> <td>数据整合困难</td> <td>统一数据模型、Schema Registry</td> </tr> <tr> <td><strong>时序性</strong></td> <td>数据带有严格的时间顺序</td> <td>时序查询、窗口计算</td> <td>时序数据库、窗口函数</td> </tr> <tr> <td><strong>价值密度低</strong></td> <td>大量正常数据中蕴含少量异常信息</td> <td>有效信息提取</td> <td>异常检测算法、采样策略</td> </tr> </tbody> </table> <blockquote><p><strong>类比理解</strong>：车联网数据就像一个大型医院的监护系统——每张病床（每辆车）上的各种监护仪（传感器）持续产生心率、血压、血氧等数据（传感器数据），护士站（数据处理中心）需要实时监控所有病床的状态，一旦某项指标异常（故障预警），必须立即响应。而每天的例行查房记录（批处理分析）则用于长期健康趋势分析。</p>