监控系统

log-bin=mysql-bin #[必须]启用二-进制日志
server-id=100 #[必须]服务器唯一ID，如果是用于多台MySQL，ID不要重复就行
binlog-format = ROW 

<dependency>
            <groupId>com.zendesk</groupId>
            <artifactId>mysql-binlog-connector-java</artifactId>
            <version>0.27.1</version> <!--2022.09.17版的-->
        </dependency>

//为什么甚至路径都一样，还是com.github.shyiko.***，
// 因为com.zendesk这个包，里面包了个com.github.shyiko.***这玩意，我怀疑是收购关系
import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.*;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;
import lombok.extern.slf4j.Slf4j;

import java.io.IOException;

//此类可以监控MySQL库数据的增删改
@Component
@Slf4j  //用于打印日志
//在SpringBoot中，提供了一个接口：ApplicationRunner。
//该接口中，只有一个run方法，他执行的时机是：spring容器启动完成之后，就会紧接着执行这个接口实现类的run方法。
public class MysqlBinLogClient implements ApplicationRunner {

    @Override
    public void run(ApplicationArguments args) throws Exception {
        //项目启动完成连接bin-log
        new Thread(() -> {
            connectMysqlBinLog();
        }).start();

    }

    /**
     * 连接mysqlBinLog
     */
    public void connectMysqlBinLog() {
        log.info("监控BinLog服务已启动");

        //自己MySQL的信息。host，port，username，password
        BinaryLogClient client = new BinaryLogClient("localhost", 3306, "root", "root");
        /**因为binlog不是以数据库为单位划分的，所以监控binglog不是监控的单个的数据库，而是整个当前所设置连接的MySQL，
         *其中任何一个库发生数据增删改，这里都能检测到，
         *所以不用设置所监控的数据库的名字(我也不知道怎么设置，没发现有包含这个形参的构造函数)
         *如果需要只监控指定的数据库，可以看后面代码，可以获取到当前发生变更的数据库名称。可以根据名称来决定是否监控
         **/

        client.setServerId(100); //和自己之前设置的server-id保持一致，但是我不知道为什么不一致也能成功

//下面直接照抄就行
        client.registerEventListener(event -> {
            EventData data = event.getData();
            if (data instanceof TableMapEventData) {
                //只要连接的MySQL发生的增删改的操作，则都会进入这里，无论哪个数据库

                TableMapEventData tableMapEventData = (TableMapEventData) data;

                //可以通过转成TableMapEventData类实例的tableMapEventData来获取当前发生变更的数据库
                System.out.println("发生变更的数据库："+tableMapEventData.getDatabase());

                System.out.print("TableID:");
                //表ID
                System.out.println(tableMapEventData.getTableId());
                System.out.print("TableName:");
                //表名字
                System.out.println(tableMapEventData.getTable());
            }
            //表数据发生修改时触发
            if (data instanceof UpdateRowsEventData) {
                System.out.println("Update:");
                System.out.println(data.toString());
                //表数据发生插入时触发
            } else if (data instanceof WriteRowsEventData) {
                System.out.println("Insert:");
                System.out.println(data.toString());
                //表数据发生删除后触发
            } else if (data instanceof DeleteRowsEventData) {
                System.out.println("Delete:");
                System.out.println(data.toString());
            }
        });

        try {
            client.connect();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

基于云的远程监控

查询分析可视化

支持 MySQL 集群监控

实时健康状态上报、可用性监控

易于配置

Prometheus有具体的接口可以提供查询指标数据

对应的第三方的支持将数据导入到第三方

例如，您可以使用计数器来表示服务的请求、完成的任务或错误的数量

内存使用的最大子，最小值

需要根据基于Prometheus提供的Client Library创建自己的Exporter程序

Promthues社区官方提供了对以下编程语言的支持：Go、Java/Scala、Python、Ruby

需要独立部署的

MySQL Exporter、Redis Exporter等都是通过这种方式实现

为了能够更好的监控系统的内部运行状态，有些开源项目如Kubernetes，ETCD等直接在代码中使用了Prometheus的Client Library，提供了对Prometheus的直接支持。这种方式打破的监控的界限，让应用程序可以直接将内部的运行状态暴露给Prometheus，适合于一些需要更多自定义监控指标需求的项目。

这种方式一般都是新项目

https://blog.csdn.net/qq_25934401/article/details/82185236

https://blog.csdn.net/penngo/article/details/126982183

CAdvisor是Google开源的一款用于展示和分析容器运行状态的可视化工具

通过在主机上运行CAdvisor用户可以轻松的获取到当前主机上容器的运行统计信息，并以图表的形式向用户展示

CAdvisor默认只保存2分钟的监控数据

CAdvisor已经内置了对Prometheus的支持

用户不用再登录到服务器中即可以可视化图表的形式查看主机上所有容器的运行状态

container_cpu_load_average_10s gauge 过去10秒容器CPU的平均负载
container_cpu_usage_seconds_total counter 容器在每个CPU内核上的累积占用时间 (单位：秒)
container_cpu_system_seconds_total counter System CPU累积占用时间（单位：秒）
container_cpu_user_seconds_total counter User CPU累积占用时间（单位：秒）
container_fs_usage_bytes gauge 容器中文件系统的使用量(单位：字节)
container_fs_limit_bytes gauge 容器可以使用的文件系统总量(单位：字节)
container_fs_reads_bytes_total counter 容器累积读取数据的总量(单位：字节)
container_fs_writes_bytes_total counter 容器累积写入数据的总量(单位：字节)
container_memory_max_usage_bytes gauge 容器的最大内存使用量（单位：字节）
container_memory_usage_bytes gauge 容器当前的内存使用量（单位：字节
container_spec_memory_limit_bytes gauge 容器的内存使用量限制
machine_memory_bytes gauge 当前主机的内存总量
container_network_receive_bytes_total counter 容器网络累积接收数据总量（单位：字节）
container_network_transmit_bytes_total counter 容器网络累积传输数据总量（单位：字节）

先启动cadvisor

Prometheus配置文件中配置cadvisor的ip地址和端口

然后启动Prometheus

该引用并不是和mysql整合在一起

优点

缺点

确保Promthues服务的可用性问题

Prometheus Server之间的数据一致性问题

持久化问题(数据丢失后无法恢复)

无法进行动态的扩展

确保了数据持久化，增加了系统可扩展性

Promthues宕机后，可以快速回复

可进行数据迁移

AWS公有云平台

OpenStack的私有云平台

Kubernetes容器管理平台

单条 SQL 或事务平均耗时，慢查询监控

SQL 执行频率

当前活跃连接数 vs 最大连接数

每秒事务提交/回滚数

死锁、行锁/表锁等待情况

缓存层（如 MySQL InnoDB Buffer Pool、Redis）命中率

反映异常或错误事务比例

数据库进程的 CPU 占用

数据库缓存、buffer pool、连接缓存等内存使用

读写吞吐量、延迟

数据库与应用通信流量

数据文件/日志文件大小，剩余容量

子主题

global_status

global_variables

info_schema.*

perf_schema.*

通过 MySQL 提供的状态信息（主要是系统表和状态变量）采集，再以 Prometheus 可抓取的格式暴露

当前正在使用的连接数

可立即使用的空闲连接数

连接池允许的最大连接数

当所有连接都被占用时，新的请求等待的数量

获取连接的平均/最大耗时

当连接池满时，拒绝的请求或抛出的异常

监控池生命周期异常

长时间不释放的连接

与应用端连接池使用情况对比

HikariCP
HikariDataSource.getHikariPoolMXBean() → 获取活跃连接、空闲连接、等待数、连接获取耗时
Druid
Druid 提供 StatViewServlet 和 DruidDataSource.getStat() → 全面监控连接池状态
Tomcat JDBC Pool
org.apache.tomcat.jdbc.pool.jmx.ConnectionPoolMBean → JMX 方式暴露指标
C3P0
ComboPooledDataSource.getNumBusyConnections() / getNumIdleConnections() / JMX 支持

Spring Boot + Micrometer

Prometheus

Eden区：新对象分配区，频繁GC

Survivor区：短暂存活对象

Old区：长寿命对象，Full GC 发生在这里

已用 vs 总容量

GC 次数与时间

堆使用趋势

存放类元数据和静态信息

已用 vs 总容量

Metaspace 内存泄漏监控

Minor GC / Major GC 次数

GC 暂停时间（Stop-the-world）

GC 时间占比

全称Java Management Extensions，jdk5引进的技术

java.management包下提供接口

Java Management API 是 JMX 的 Java 内置实现和封装，使开发者无需手动操作 MBean 就能获取 JVM 指标

分层

架构图

实现对运行时应用程序动态资源查询

修改对运行时应用程序动态资源配置

具体规则

demo

jconsole

CPU状态（user、system、iowait&idle percentages

内存使用率（used、buffered、cached & free percentages）

虚拟内存统计信息（dirty page flushes, writeback volume）

磁盘I/O（operations & amount of data transferred per unit time, time to service operations）

装载上用于节点数据目录的可用磁盘空间

beam.smp使用的文件描述符与最大系统限制

按状态列出的TCP连接（ESTABLISHED,CLOSE_WAIT,TIME_WATT）

网络吞吐量（bytes received,bytes sent） & 最大网络吞吐量

网络延迟（集群中所有RabbitMQ节点之间以及客户端之间）

集群信息获取

节点指标获取

单个队列指标获取

本质都是通过RabbitMq提供的Http api接口获取

监控的rabbitMq系统本身指标

应用程序跟踪的指标可以是特定于系统

客户端库和框架提供了注册指标收集器或收集现成指标的方法

RabbitMQ Java客户端和Spring AMQP就是两个例子。其它开发人员必须跟踪应用程序代码中的指标。

可以在MQ中专门创建一个监控的队列，定时的发送和消费队列中的消息，并且通过的如下的代码去监控队列是否已经堵塞，如果监听到队列已经堵塞，就立即发送告警的短信和邮件

集群中是否有资源报警

rabbitMq是否正常运行

当前节点是否有报警

频率太高，容易对系统产生负面影响

Management Plugin 是一个官方插件，旨在为 RabbitMQ 提供图形化管理界面、HTTP API 和命令行工具，方便用户进行监控、配置和管理

公开了节点、连接、队列、消息速率等的RabbitMQ指标

限制

后端命令行工具

Http接口

优点

本质依赖的是rokcetMq mqadmin命令行工具

将rockeMq的数据源导入到Prometheus上做相关监控

大体步骤

大致流程

kafka官方也是提倡使用jmx并且提供了jmx的调用给用户以监控kafka.

提供 Topic、Partition、Producer/Consumer、Broker 指标

实例监控

topic

group监控

Kafka-emitted 指标

Host 基础指标 & JVM 垃圾收集指标

每秒收到的平均响应数

每秒发送的平均请求数

平均请求等待时长

每秒平均传出/传入字节数

I / O 线程等待的平均时长

每个分区每个请求发送的平均字节数

Consumer 在此分区上滞后于 Producer 的消息数

特定 Topic 每秒平均消耗的字节数

特定 Topic 每秒平均消耗的记录数

Consumer 每秒获取的请求数

消息生产速率、消费速率

队列长度/堆积量

消息延迟/滞留时间

消息确认状态（ack/nack）

重试次数、失败率

活跃消费者数

客户端连接数

节点存活、Leader/Partition 状态

副本同步状态、消息复制延迟

CPU、内存、磁盘 I/O、网络 I/O

文件句柄、线程数

Redis 内置命令，提供全量的服务器状态信息

数据类型

作用：实时打印 Redis 收到的每条命令

用途：分析慢命令、异常操作，但会增加 CPU 开销，不适合生产环境持续使用

作用：获取慢查询日志

用途：分析执行时间过长的命令，优化 Redis 配置和数据结构

Redis 客户端（Jedis、Spring Data Redis）可以采集：

通过 自定义指标暴露给监控系统

redis_exporter 连接redis获取指标，封装成Prometheus格式，再提供http接口给Prometheus

Spring Boot 应用可通过 Micrometer Redis 模块采集 Redis 指标

数据会暴露在 /actuator/metrics，可被 Prometheus 拉取

连接失败检测

客户端连接数

info stats

具体指标

已使用内存大小

最大内存大小

内存碎片

持久化可以防止数据丢失

上一次 RDB 持久化状态

上一次 RDB 持久化的持续时间

查看 AOF 文件大小

大key 

热key 

子主题

慢查询涉及参数

具体命令

具体指标

具体命令

HitRate = keyspace_hits / (keyspace_hits + keyspace_misses)

info stats 可以获取两个指标

建议缓存命中率不要低于90%，越高越好

ThreadPoolExecutor的api setCorePoolSize(int corePoolSize)

ThreadPoolExecutor的api setMaximumPoolSize(int maximumPoolSize)

自定一个阻塞队列继承阻塞队类，然后在队列长度字段设置可以做修改。此队列作为线程池的阻塞队列

？

Filebeat（轻量级日志收集器，常配合 ELK）

Fluentd / Fluent Bit（CNCF 项目，性能更高）

Logstash（功能强大，但资源开销大）

Kafka（常见缓冲层，削峰填谷）

直接推送到 Elasticsearch / Loki

Grafana + Loki（轻量化日志查询、告警）。

Graylog（开源日志管理平台）。