Spark:Streaming
2015-12-06 10:58:08 5 举报
Spark Streaming是Apache Spark的一个扩展,用于处理实时数据流。它提供了一个高效、可扩展且容错的数据处理框架,可以处理来自各种来源的数据,如Kafka、Flume、HDFS等。Spark Streaming将数据分成小批次进行处理,每个批次都可以独立地应用Spark操作,从而实现高吞吐量和低延迟。此外,Spark Streaming还支持窗口操作,允许用户对数据进行滑动窗口聚合、计数、求和等操作。总之,Spark Streaming是一个强大的实时数据处理工具,适用于各种实时数据分析和监控场景。
作者其他创作
大纲/内容
StreamingListenerBus.start()
DStreamGraph .start()
JobScheduler.start()
SparkContext.runJob()
StreamingListenerReceiverStartedStreamingListenerReceiverErrorStreamingListenerReceiverStoppedStreamingListenerBatchSubmittedStreamingListenerBatchStartedStreamingListenerBatchCompletedStreamingListenerShutdown
ReceiverTracker.start()
RecurringTimer .start()
创建名称为ReceiverTracker的Actor
创建名称为JobGenerator的Actor
JobGenerator.start()
ReceiverLauncher.start()
JobGenerator .startFirstTime()
监听事件
ReceiverLauncher.startReceivers()
StreamingContext.start()
创建名称为JobScheduler的Actor
收藏
收藏
0 条评论
回复 删除
下一页