异步磁盘刷盘核心线程发现需要刷盘时,直接生成刷盘任务 并将刷盘任务通过无锁队列推送给刷盘进程
更多的replication
增加Partition 数目
GC优化生产消息进行校验时会针对每条消息生产消息对象 导致大量消息对象产生采用ByteBuffer二进制数据上进行消息校验,这样在整个消息校验中就不会生成任何消息对象 较低JVMGC的压力 提高系统性能
Kafka优化
Source增加Source个数和batchSize
Channel使用file Channel时dataDirs配置多个不同盘下的目录可以提高性能
批量写入
锁优化broker仅有的请求队列替换无锁请求队列
Flume优化
Sink增加Sink的个数可以增加Sink消费event的能力
GC优化-xmx和-xms设置相同值,避免在 GC 后调整堆大小带来的压力JVM heap(堆内存)设置4G或更高