首页  思维导图  详情



 



Flink

2020-08-24 09:02:08   0  举报





仅支持查看

Flink

模板推荐

作者其他创作

大纲/内容

简介

Flink是高吞吐，低延迟，高性能，处理实时流的计算框架，Flink可以达到毫秒级别的低延迟处理，每秒可处理上亿次消息或事件，同时还提供了Exactly-once，保证数据的正确性，让Flink可以在对数据要求实时性和安全性特别高的场景下使用，如金融，电商等

为什么要学Flink？

Flink与SparkStream区别

目前的环境下，在实时流处理的大数据框架，只有Flink和SparkStream

SparkStream是以批量来模拟流式处理，其带来的就是延迟（spark可达到秒级别延迟，但在某些环境下需要更低的延迟）

Flink是以流实模拟批处理（有界流），Flink区别Spark最重要的是stateFule有状态计算，Flink提高了内置的对状态一致性处理，任务如果发生了Failover，其状态不会丢失，有多少算多少。

性能对比

Flink是一行一行处理，SparkStream是以RDD（分布式弹性结果集）进行小批量处理，所以spark在处理流式数据方面需要一定的延迟，但Flink与Storm的性能差不多，所以在处理流式数据时Flink会优于Spark

状态计算

有界流

拥有起始时间和截止时间，Flink会对这范围中的数据进行计算，有界流也称为批处理

无界流

有开始时间没有截止时间，就像管道一样一直流，不会被终止。无界流必须连续性处理数据，以保证数据的顺序完整性

架构

分支主题

 Collect

Get Started

 Collect

Get Started

 Collect

Get Started

 Collect

Get Started

flink pipe





0 条评论

下一页