Flink
2020-08-24 09:02:08 0 举报
AI智能生成
Flink
作者其他创作
大纲/内容
简介
Flink是高吞吐,低延迟,高性能,处理实时流的计算框架,Flink可以达到毫秒级别的低延迟处理,每秒可处理上亿次消息或事件,同时还提供了Exactly-once,保证数据的正确性,让Flink可以在对数据要求实时性和安全性特别高的场景下使用,如金融,电商等
为什么要学Flink?
Flink与SparkStream区别
目前的环境下,在实时流处理的大数据框架,只有Flink和SparkStream
SparkStream是以批量来模拟流式处理,其带来的就是延迟(spark可达到秒级别延迟,但在某些环境下需要更低的延迟)
Flink是以流实模拟批处理(有界流),Flink区别Spark最重要的是stateFule有状态计算,Flink提高了内置的对状态一致性处理,任务如果发生了Failover,其状态不会丢失,有多少算多少。
性能对比
Flink是一行一行处理,SparkStream是以RDD(分布式弹性结果集)进行小批量处理,所以spark在处理流式数据方面需要一定的延迟,但Flink与Storm的性能差不多,所以在处理流式数据时Flink会优于Spark
状态计算
有界流
拥有起始时间和截止时间,Flink会对这范围中的数据进行计算,有界流也称为批处理
无界流
有开始时间没有截止时间,就像管道一样一直流,不会被终止。无界流必须连续性处理数据,以保证数据的顺序完整性
架构
分支主题
0 条评论
下一页