Producer整体处理流程
2016-06-28 14:07:40 0 举报
Producer处理流程主要包括以下几个步骤:首先,Producer将消息发送到Broker的指定Topic中;然后,Broker将消息存储在本地磁盘上,并返回确认信息给Producer;接着,如果消息需要持久化,Broker会将消息写入到磁盘上的日志文件中;最后,Consumer订阅该Topic并从Broker拉取消息进行处理。在整个过程中,Producer和Broker之间通过异步的方式传输数据,以保证系统的高吞吐量和低延迟。此外,为了保证消息的顺序性和可靠性,Kafka还采用了分区和副本机制。总之,Producer处理流程是一个高效、可靠且可扩展的消息传递系统。
作者其他创作
大纲/内容
SockectChannel(node1,node2,node3)
send
返回future
1)执行callback回调,返回RecordMeta2)释放内存
Selector
NetworkClient
1)从inFlightRequest移除 部分ClientRequest2)处理meta请求3)返回ClientResponse
write
RecordAppendResult
connect
append
1)completeSends2)completeReceives
read
wakeup
Client
KafkaProducer
Accumulator
Sender
1)ClientRequest插入inFlightRequest2)maybeUpdateMetadata3)调用poll
1)建立与结点的连接2)按nodeId整理RecordBatch3)每个nodeId一个ClientRequest4)调用poll
0 条评论
下一页