版本锁定：Apache RocketMQ 4.9.5，所有源码类路径、方法、逻辑与该版本完全对齐；受众前提：熟练使用 RocketMQ 业务 API、集群运维、故障排查，聚焦<b>客户端 + Broker Java 核心源码</b>，所有内容服务线上调优、疑难底层故障定位。
1. 整体源码模块分层（6 大 Java 核心模块）
源码根包：org.apache.rocketmq，仅划分 Java 运行核心模块，过滤 tools、监控脚本、shell 运维目录
1.1 namesrv（NameServer 路由注册中心模块）
核心职责：无状态路由存储、Broker 心跳路由管理、Topic 路由查询
核心类：
NamesrvController：NameServer 顶层调度控制器，启动入口
RouteInfoManager：全量路由数据内存管理器（Topic、Broker、集群信息内存容器）
DefaultRequestProcessor：处理 Broker/Producer/Consumer 所有网络请求（注册、注销、查询路由）
BrokerHousekeepingService：定时扫描失联 Broker，清理过期路由
1.2 store（Broker 存储核心模块，磁盘三层存储实现）
核心职责：CommitLog、ConsumeQueue、IndexFile 读写、刷盘、内存缓存、文件过期清理
核心子包分层：
commitlog：主消息文件写入、刷盘、内存 MappedFile 缓存
consumequeue：消费索引构建、读取
index：消息检索索引实现
ha：主从同步 HA 复制模块（主从数据同步核心）
schedule：延迟消息定时存储逻辑
顶层控制器：DefaultMessageStore，Broker 存储唯一入口
1.3 client（Producer/Consumer Java 客户端模块）
分为生产者、消费者两套独立逻辑，业务开发直接依赖的 API 底层实现
producer 子模块
DefaultMQProducerImpl：生产者底层实现，发送逻辑入口
SendMessageProcessor：发送请求封装、重试、异步回调管理
consumer 子模块
DefaultMQPushConsumerImpl：推模式消费者底层核心（线上 99% 使用）
RebalanceImpl：消费者重平衡 Rebalance 全量实现
PullAPIWrapper：底层拉取消息封装
ConsumeMessageService：多线程消费调度、消息重试、死信投递
1.4 remoting（NIO 网络通信底层模块，全链路通信底座）
所有客户端 ↔ NameServer ↔ Broker 的网络交互统一依赖该模块，自研 NIO，不依赖 Netty 以外第三方
核心类：
RemotingServer/RemotingClient：服务端 / 客户端通信抽象
NettyRemotingServer/NettyRemotingClient：Netty NIO 具体实现
RemotingCommand：统一网络数据包协议载体（请求 / 响应封装）
NettyEncoder/NettyDecoder：自定义二进制编解码器
ResponseFuture：异步请求回调容器，同步 / 异步请求统一管理
1.5 broker（Broker 业务调度模块，存储 + 通信粘合层）
衔接 remoting 网络请求与 store 存储，处理发送、拉取、事务、过滤请求
核心控制器：BrokerController Broker 启动顶层入口
核心处理器：
SendMessageProcessor：处理生产者发消息请求
PullMessageProcessor：处理消费者拉消息请求
EndTransactionProcessor：事务消息提交 / 回滚处理
ClientManageProcessor：客户端心跳、注册管理
1.6 transaction（事务消息专用模块）
半消息存储、事务状态回查、定时状态扫描兜底
核心类：
TransactionMessageService：事务消息调度服务
TransactionCheckListener：本地事务回查执行入口
TransactionalMessageUtil：半消息 Topic 读写工具
2. 两大核心流程逐行源码解析（4.9.5 关键片段 + 行注释）
主线 1：异步发送普通消息全链路源码解析
调用链路：业务 rocketMQTemplate.asyncSend → DefaultMQProducerImpl.sendAsync → Remoting 网络发送 → Broker SendMessageProcessor写入 CommitLog
片段 1：生产者底层异步发送入口 DefaultMQProducerImpl#sendAsync
片段 2：异步发送任务 SendTask#run 真实网络请求
片段 3：Broker 接收消息写入 SendMessageProcessor
主线 2：Push 消费者拉取消息全链路源码解析
Push 本质：客户端后台循环主动 Pull，封装推模式；链路：RebalanceImpl分配队列 → PullAPIWrapper发送拉取请求 → Broker PullMessageProcessor读取 ConsumeQueue/CommitLog → 本地消费线程执行业务
片段 1：Rebalance 分配队列，触发拉取任务 RebalanceImpl#rebalanceByTopic
片段 2：底层拉取消息请求 PullAPIWrapper#pullKernelImpl
片段 3：Broker 读取消息 PullMessageProcessor
片段 4：消费线程执行业务、提交 offset ConsumeMessageConcurrentlyService
3. Remoting NIO 网络通信底层源码原理（Java 纯 Netty 实现）
3.1 整体 NIO 模型
采用 Netty Reactor 单主多从模型：
Boss 线程：监听端口，处理 TCP 连接建立
Worker 线程：处理 IO 读写、编解码、请求分发
业务线程池：剥离耗时业务逻辑，不阻塞 IO 线程
3.2 统一通信协议 RemotingCommand
一条 TCP 数据包只由 RemotingCommand承载，固定结构：
4 字节总长度；2. 4 字节头部长度；3. Header 序列化数据；4. Body 二进制消息体
源码核心字段：
3.3 编解码源码核心逻辑 NettyEncoder
3.4 同步 / 异步 / 单向请求区分实现
<b>同步 invokeSync</b>：阻塞当前线程，创建 ResponseFuture存入本地 Map，等待 opaque 匹配响应，超时抛出异常；
<b>异步 invokeAsync</b>：传入回调，请求发送后直接释放线程，Netty 收到响应后通过 opaque 找到 Future 执行回调；
<b>单向 sendOneWay</b>：不创建 Future，不等待响应，无重试、无结果回调，极致低延迟。
3.5 心跳检测与连接复用
客户端定时 NettyRemotingClient#scanResponseTable清理超时连接；
Producer/Consumer 每 30s 发送心跳包到 Broker/NameServer；
服务端 BrokerHousekeepingService 120s 未收到心跳判定客户端离线，销毁连接。
4. 三层存储底层实现源码原理（store 模块）
4.1 MappedFile 内存页缓存基础
底层使用 Java NIO FileChannel.map() 内存映射，零拷贝读写磁盘文件：
CommitLog/ConsumeQueue/IndexFile 全部基于 MappedFile封装；
预分配固定大小文件，顺序追加写入，减少磁盘随机 IO；
内存缓冲区 TransientStorePool堆外内存池，减少 GC 停顿。
4.2 CommitLog 主消息存储
文件固定 1G，文件名 = 文件起始物理偏移；
写入流程：消息封装→写入 MappedFile 内存缓存→刷盘线程异步 / 同步落盘；
刷盘策略源码区分：
4.3 ConsumeQueue 消费索引
每条索引固定 20 字节结构：
8字节CommitLog物理offset + 4字节消息长度 + 8字节Tag哈希
不存储消息体，极致轻量化；
Broker 拉取消息时先读 CQ 索引，再定向读取 CommitLog，避免全量扫描大文件。
4.4 IndexFile 检索索引
哈希槽 + 链表结构，通过 msgId/messageKey 快速定位消息物理位置，用于控制台消息查询。
4.5 文件过期删除机制
后台定时线程 CleanCommitLogService执行清理逻辑：
遍历所有 CommitLog 文件，判断文件最后写入时间；
超过 fileReservedTime（默认 24h）标记可删除；
无任何 ConsumeQueue 引用该文件则删除磁盘文件；
正在被消费读取的文件禁止删除，防止空指针。
5. 集群核心机制源码底层实现
5.1 NameServer 路由注册机制
Broker 启动时循环向所有 NameServer 发送 REGISTER_BROKER请求；
RouteInfoManager内存存储：Broker 地址、Topic 绑定队列、主从标记；
Producer/Consumer 查询路由 GET_ROUTEINFO_BY_TOPIC，NameServer 直接返回内存数据（无磁盘 IO）；
Broker 心跳超时 HousekeepingService 自动清理失效 Broker 路由。
5.2 Broker 主从同步 HA 模块
HA 核心类 HAService：
Slave 主动建立 TCP 连接到 Master；
Master 启动 HAConnection线程，实时将新写入 CommitLog 数据推送到 Slave；
同步复制模式：Master 等待 Slave 接收完成再返回发送成功；异步无需等待；
Master 宕机后 Slave 接收不到数据，消费者自动切换拉取 Slave 数据。
5.3 消息负载均衡（生产者）
生产者 selectOneMessageQueue两种策略：
普通消息：轮询分配 MessageQueue，均衡分发；
顺序消息：根据业务 hashKey 取模固定队列，保证同 key 消息有序。
5.4 消费者 Rebalance 重平衡完整底层
触发时机：消费者上下线、Topic 队列扩容、订阅变更
定时任务每 20s 执行一次 rebalance；
拉取当前集群全部消费者实例 ID；
分配算法平均拆分 MessageQueue；
新增队列创建循环 Pull 拉取任务；移除队列停止拉取、持久化 offset；
Rebalance 期间消费短暂抖动（线上消息堆积根源之一）。
6. 高可靠底层源码保障机制
6.1 生产者发送重试底层
sendKernelImpl内置循环重试，重试次数由 retry-times-when-send-failed控制：
网络异常、Broker 繁忙自动切换备用 Broker 地址重试；
同步消息阻塞重试，异步消息回调标记失败，业务可二次补偿。
6.2 ACK 与消费 Offset 提交
Push 消费者：消费成功更新本地 ProcessQueue 内存 offset，定时线程批量同步到 Broker；
消费异常不更新 offset，下次拉取重复消费；
广播消费 offset 存储在本地文件，集群消费 offset 持久化 Broker。
6.3 重试 Topic & 死信队列底层
消费异常消息发送到 %RETRY%消费组 重试 Topic；
重试消息 16 次后仍失败，自动转入死信 Topic %DLQ%消费组；
底层工具类 SendMessageBack统一处理重试投递，隔离失败消息不阻塞正常业务。
6.4 事务消息半消息 / 提交 / 回查源码
半消息存入内部 Topic RMQ_SYS_TRANS_HALF_TOPIC，对普通消费者不可见；
本地事务成功执行 END_TRANSACTION提交，半消息转为正常消息；失败则删除半消息；
定时扫描服务 TransactionCheckService扫描长期未确认半消息，回调业务 checkLocalTransaction回查本地事务状态兜底。
7. 线上性能瓶颈底层源码根源（故障根因定位）
7.1 消息大量堆积
Rebalance 频繁触发：消费者频繁上下线，队列分配中断，消费停滞；
消费线程数 < Topic 队列总数：单个线程串行处理多个队列，消费上限被锁死；
消费逻辑同步阻塞 DB/IO，单条消费耗时过长，拉取速度跟不上生产；
磁盘 IO 打满：同步刷盘 + 机械硬盘，CommitLog 写入阻塞。
7.2 消费延迟高
异步刷盘 + 主从同步延迟，Slave 数据滞后，消费者切到从节点读取旧数据；
ConsumeQueue 索引读取命中大量冷文件，磁盘随机 IO 飙升；
批量拉取 maxMsgNums 过小，频繁网络往返。
7.3 发送超时
NameServer 路由缓存未刷新，生产者持续连接宕机 Broker；
同步刷盘 + 磁盘 IO 瓶颈，Broker 写入 CommitLog 阻塞网络线程；
网络连接耗尽，Remoting 连接池无空闲通道。
7.4 磁盘 IO 打满
同步刷盘 SYNC_FLUSH 每次写入强制落盘，大量随机刷盘；
消息积压 CommitLog 持续膨胀，文件过多清理线程来不及回收；
TransientStorePool 堆外内存耗尽，频繁页缓存淘汰，触发大量磁盘读取。
7.5 Rebalance 抖动
消费者集群频繁扩容 / 缩容、服务频繁重启；
客户端心跳超时阈值过小，误判离线；
消费组内消费者实例数量频繁变化，每次重分配暂停消费。
8. RocketMQ 4.9.5 源码本地编译调试实操指南
8.2 IDEA 调试启动配置
NameServer 启动类：org.apache.rocketmq.namesrv.NamesrvStartup
VM 参数：-Drocketmq.namesrv.config.file=conf/namesrv.conf
Broker 启动类：org.apache.rocketmq.broker.BrokerStartup
VM 参数：-c conf/broker.conf
客户端调试：引入本地编译后的 client 模块依赖，替换 maven 远程包。
8.3 核心链路断点清单（故障调试必打）
生产者发送链路断点
DefaultMQProducerImpl#sendAsync 发送入口
SendMessageProcessor#handleSendMessage Broker 接收消息
DefaultMessageStore#putMessage CommitLog 写入
消费者拉取 & 消费断点
RebalanceImpl#rebalanceByTopic 重平衡分配队列
PullMessageProcessor#getMessage Broker 读取消息
ConsumeMessageConcurrentlyService#consumeMessage 业务消费执行
SendMessageBack#sendMessageBack 重试消息投递
网络通信断点
NettyRemotingClient#invokeAsync 异步网络请求
NettyDecoder#decode 数据包解析
存储刷盘断点
CommitLog#flush 同步 / 异步刷盘逻辑
CleanCommitLogService#run 文件过期清理
事务消息断点
TransactionMessageService#putHalfMessage 写入半消息
TransactionCheckService#scanHalfMessage 事务回查扫描
