MQ

数据存储、数据分析、数据集成等功能

 

 架构图

 工作流程

消息生产者，向broker发送消息，也称为发布者

Producer

读取消息的客户端

comsumer

一个consumer group由多个consumer组成，消费者组可以消费某个分区中的所有消息，消费的消息不会立马被删除。也称为订阅者

consumer group

逻辑上的区分，通过topic将消息进行分类，不同topic会被订阅该topic的消费者消费

 发送和订阅都必须指定topic

特点：topic的一个分区只能被consumer group的一个consumer消费；同一条消息可以被多个消费者组消费，但同一个分区只能被某个消费者组中的一个消费者消费。问题：topic消息非常多，消息会被保存在log日志文件中，文件过大解决：分区

Topic

将一个topic中的消息分区来存储，有序序列，真正存放消息的消息队列

①、 分区中的数据存储在哪儿？每个partition都有一个commit log文件②、 为什么要分区（好处）存储？如果commitlog文件很大的话可能导致一台服务器无法承担所有的数据量，机器无法存储，分区之后可以把不同的分区放在不同的机器上，相当于是分布式存储    每个消费者并行消费    提高可用性，增加若干副本

partition

每个分区都可以设置自己对应的副本（replication-factor参数），有一个主副本（leader）、多个从副本（follower）

● leader：处理读写请求，负责当前分区的数据读写● follower：同步数据，保持数据一致性

职责

单一职责。leader负责和生产消费者交互，follower负责副本拷贝，副本是为了保证消息存储安全性，当其中一个leader挂掉，则会从follower中选举出新的leader，提高了容灾能力，但是副本也会占用存储空间

为什么要设置多副本？

Leader、Follower

分区中的每条消息都有唯一的编号，用来唯一标识这一条message

offset

动态集合，保存正在同步的副本集，是与leader同步的副本。如果某个副本不能正常同步数据或落后的数据比较多，会从副本集中把节点中剔除，当追赶上来了在重新加入。kafka默认的follower副本能够落后leader副本的最长时间间隔是10S

ISR

组成

思维导图

 kafka

一个由Erlang语言开发的AMQP的开源中间件

 组成

生产者将消息发送到交换机

交换机根据路由键将消息路由到相应的队列

消费者从队列中获取消息进行处理

RabbitMq博客

 RabbitMQ

消息队列，栈结构

 异步

 削峰

 解耦

优点

一致性问题

可用性降低

 缺点

Simple（简单工作模式）

存在竞争关系

 一对一

 轮询消费

Work Queues（工作模式）

 一对多

Pub/Sub（订阅模式）

 Routing（路由模式）

 工作模式

百万级吞吐量

Scala和Java

多分区高并发，多副本高可用

Kafka

 万级吞吐量

ealang开发

可靠性高，模式丰富

对比

基础

MQ