2-Flink 简介 AND 编程模型

与 SparkStream的区别

版本

定义流开始  定义流结束可以等数据结束之后在计算有界流的数据可以排序 不需要有序读取批处理

SQL构建在Table之上 需要构建Table环境Table可以和DataStream和DataSet相互转换SQL最终会转为流式执行计划

定义流开始 没有结束会不停的产生数据   必须不停的处理无界流的数据我们得以什么顺序去读 推断结果的完整性流式处理

当前最新 1.17.1

有界流

可以相互转换

首选

 Data Source

ProcessFunction是Flink最底层的接口可以处理单个事件和多个事件提供了事件和状态的细粒度控制灵活性高 但开发很复杂 高手

流批一体早期-->做离线现在-->做实时

离线数据

结果

事件日志

Flink

在ProcessFunction基础上多了一些算子支持 Java + Scala预先定义了很多函数DataStream是流式处理 DataSet是批处理

1.所有流式计算场景2.正确性保证3.分层API4.聚集运维5.大规模计算6.性能卓越

历史

APP

无界流

Flink-->流批一体

Stateful Stream Processing

编程模型

架构模型：Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager 和 Slot容错机制：一个RDD  一个CheckPoint速度：一个秒级  一个毫秒级一个流批一体  一个准实时

特点

实时数据

1.9x新融合阿里 9000万欧买下Flink

数据存储

DataStream DataSet API

任何类型的数据都可以形成一种事件流

分层API

SQL&Table API