首页  思维导图  详情



 



消息中间件RocketMQ

2021-12-30 00:18:48   36  举报





AI智能生成

消息中间件RocketMQ学习笔记

rocketmq

模板推荐

作者其他创作

大纲/内容

1.概念和特性

●概念(Concept): 介绍RocketMQ的基本概念模型。

1消息模型(Message Model)

2消息生产者(Producer)

3消息消费者(Consumer)

4主题(Topic)

5代理服务器(Broker Server)

6名字服务(Name Server)

7拉取式消费(Pull Consumer)

8推动式消费(Push Consumer)

9生产者组(Producer Group)

10消费者组(Consumer Group)

11集群消费(Clustering)

12广播消费(Broadcasting)

13普通顺序消息(Normal Ordered Message)

14严格顺序消息(Strictly Ordered Message)

15消息(Message)

16标签(Tag)

●特性(Features): 介绍RocketMQ实现的功能特性。

1 订阅与发布

2 消息顺序

3 消息过滤

4 消息可靠性

5 至少一次

6 回溯消费

7 事务消息

8 定时消息

9 消息重试

10 消息重投

11 流量控制

12 死信队列

2.架构设计

架构(Architecture):介绍RocketMQ部署架构和技术架构。

●设计(Design): 介绍RocketMQ关键机制的设计原理，主要包括消

1 消息存储

1.1 消息存储整体架构

(1) CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。

(2) ConsumeQueue

Consumer即可根据ConsumeQueue来查找待消费的消息

(3) IndexFile：IndexFile（索引文件）提供了一种可以通过key或时间区间来查询消息的方法。

1.2 页缓存与内存映射

页缓存（PageCache)是OS对文件的缓存，用于加速对文件的读写。

1.3 消息刷盘

2 通信机制

2.1 Remoting通信类结构

2.2 协议设计与编解码

2.3 消息的通信方式和流程

2.4 Reactor多线程设计

3 消息过滤

4 负载均衡

4.1 Producer的负载均衡

4.2 Consumer的负载均衡

1、Consumer端的心跳包发送

2、Consumer端实现负载均衡的核心类—RebalanceImpl

5 事务消息

5.1 RocketMQ事务消息流程概要

5.2 RocketMQ事务消息设计

1.事务消息在一阶段对用户不可见

2.Commit和Rollback操作以及Op消息的引入

3.Op消息的存储和对应关系

4.Half消息的索引构建

5.如何处理二阶段失败的消息？

6 消息查询

6.1 按照MessageId查询消息

6.2 按照Message Key查询消息

3.样例

)1基本样例

1.1加入依赖:

1.2消息发送

1、Producer端发送同步消息

2、发送异步消息

3、单向发送消息

1.3消费消息

) 2顺序消息样例

■2.1顺序消息生产

sh bin/tools.sh org.apache.rocketmq.example.ordermessage.Producer

2.2顺序消费消息

sh bin/tools.sh org.apache.rocketmq.example.ordermessage.Consumer

3延时消息样例

3.1启动消费者等待传入订阅消息

3.2发送延时消息

3.3验证

■3.4延时消息的使用场景

3.5延时消息的使用限制

)4批量消息样例

■4.1发送批量消息

■4.2消息列表分割

5过滤消息样例

5.1基本语法

5.2使用样例

■1、生产者样例

2、消费者样例

6消息事务样例

6.1发送事务消息样例

■1、创建事务性生产者

2、实现事务的监听接口

6.2事务消息使用上的限制

1. 事务消息不支持延时消息和批量消息。

2. 为了避免单个消息被检查太多次而导致半队列消息累积，我们默认将单个消息的检查次数限制为 15 次，但是用户可以通过 Broker 配置文件的 transactionCheckMax参数来修改此限制。如果已经检查某条消息超过 N 次的话（ N = transactionCheckMax ）则 Broker 将丢弃此消息，并在默认情况下同时打印错误日志。用户可以通过重写 AbstractTransactionalMessageCheckListener 类来修改这个行为。

3. 事务消息将在 Broker 配置文件中的参数 transactionTimeout 这样的特定时间长度之后被检查。当发送事务消息时，用户还可以通过设置用户属性 CHECK_IMMUNITY_TIME_IN_SECONDS 来改变这个限制，该参数优先于 transactionTimeout 参数。

4. 事务性消息可能不止一次被检查或消费。

5. 提交给用户的目标主题消息可能会失败，目前这依日志的记录而定。它的高可用性通过 RocketMQ 本身的高可用性机制来保证，如果希望确保事务消息不丢失、并且事务完整性得到保证，建议使用同步的双重写入机制。

6. 事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。与其他类型的消息不同，事务消息允许反向查询、MQ服务器能通过它们的生产者 ID 查询到消费者。

7 Logappender样例

7.1 log4j样例

7.2 log4j2样例

7.3 logback样例

8 OpenMessaging样例

8.1 OMSProducer样例

8.2 OMSPullConsumer

8.3 OMSPushConsumer

4.最佳实践

最佳实践(Best Practice)

1 生产者

1.1 发送消息注意事项

1.2 消息发送失败处理方式

1.3选择oneway形式发送

2 消费者

2.1 消费过程幂等

2.2 消费速度慢的处理方式

1 提高消费并行度

2 批量方式消费

3 跳过非重要消息

4 优化每条消息消费过程

2.3 消费打印日志

2.4 其他消费建议

3 Broker

3.1 Broker 角色

3.2 FlushDiskType

3.3 Broker 配置

4 NameServer

5 客户端配置

5.1 客户端寻址方式

5.2 客户端配置

6 系统配置

6.1 JVM选项

6.2 Linux内核参数

消息轨迹指南(Message Trace):

权限管理(Auth Management):个

Dledger快速搭建(Quick Start) :

集群部署(Cluster Deployment):

4 种高可用 RocketMQ 集群搭建方案！

5.运维管理

●集群部署(Operation): .

集群搭建

nohup sh bin/mqnamesrv &

nohup sh bin/mqbroker -n localhost:9876 &

sh bin/mqshutdown broker

sh bin/mqshutdown namesrv

1 集群搭建

1.1 单Master模式

1.2 多Master模式

1.3 多Master多Slave模式-异步复制

1.4 多Master多Slave模式-同步双写

2 mqadmin管理工具

3 运维常见问题

6. 《RocketMQ分布式消息中间件:核心原理与最佳实践》

第1章RoketMQ综述

1.1什么是消息队列

1.2为什么需要消息队列

1.3常见消息队列

1.4 RocketMQ的发展史与未来

第2章RocketMQ的生产者原理和最佳实践

2.1生产者原理

2.2生产者启动流程

2.3消息发送流程

2.4发送消息最佳实践

2.5生产者最佳实践总结

第3章RocketMQ的消费流程和最佳实践

3.1消费者概述

3.2消费者启动机制

1. DefaultLitePullConsumer

3.3消费者的Rebalance机制

1. 这里我们主要讲消费者实例在收到Broker通知后是怎么执行Rebalance的

2. 目前队列分配策略有以下5种实现方法：

AllocateMessageQueueStrategy

AllocateMessageQueueAveragely：平均分配，也是默认使用的策略（强烈推荐）。

AllocateMessageQueueAveragelyByCircle：环形分配策略。

AllocateMessageQueueByConfig：手动配置。

AllocateMessageQueueConsistentHash：一致性Hash分配。

AllocateMessageQueueByMachineRoom：机房分配策略。

3.4消费进度保存机制

从 3.1.2 节可知，在消费者启动时会同时启动位点管理器，那么位点具体是怎么管理的呢？RocketMQ 设计了远程位点管理和本地位点管理两种位点管理方式。集群消费时，位点由客户端提交给Broker保存，具体实现代码在RemoteBrokerOffsetStore.java文件中；广播消费时，位点保存在消费者本地磁盘上，实现代码在LocalFileOffsetStore.java文件中。

3.5消费方式

1. Pull方式

2. Push 方式

3.5.1 Pull消费流程

3.6消息过滤

3.6.1 为什么要设计过滤功能

RocketMQ 设计了消息过滤，来解决大量无意义流量的传输：即对于客户端不需要的消息，Broker就不会传输给客户端，以免浪费宽带。

3.6.1 为什么要设计过滤功能

3.7消费者最佳实践总结

第4章RocketMQ架构和部署最佳实践

4.1 RocketMQ架构

4.2常用的部署拓扑和部署实践