Flink源码及原理剖析
2023-03-09 16:56:44 0 举报AI智能生成
flink知识框架，学习内容
作者其他创作
大纲/内容
应用容错
监控
metrics
流批一体
Flink-SQL
Flink-ML
一个实战的案例开始
简单的例子引出flink编程的五大部分
一个执行环境
接入数据流（source）
对数据流的操作(transformations)
输出（sink）
触发程序执行（execute）
实际项目使用讲解
讲清楚我们是如何使用的
基础
Flink架构
Flink Client
jobmanager
启动流程
taskmanager
启动流程
部署模式
图的转换
StreamGraph
JobGraph
ExecutionGraph
作业
作业调度
作业执行
资源管理
运行时原理
集群资源管理
task
subtask
slot资源共享
核心概念
Task
subTask
slot
slotSharingGroup
operator chain
核心篇
（结合DataStream API详解
每部分从作用和源码讲）
（结合DataStream API详解
每部分从作用和源码讲）
环境对象
StreamExecutionEnvironment
作用
源码
通过源码看核心配置
ExecutionConfig
CheckpointConfig
List<Transformation<?>>
StateBackend
TimeCharacteristic
数据源
source API
source API
File-based
socket-based
collection-based
custom
addSource
Connectors
Kafka
Hybrid source
.........
数据转换
(transformations)
(transformations)
Operators
基本的
Map
FlatMap
Filter
KeyBy
Reduce
时间与窗口
window
windowAll
Window Apply
Window reduce
窗口分类及用途
Process Function
其他特殊转换
旁路输出
（Side Outputs）
（Side Outputs）
作用-使用场景
源码
SInk
execute
分布式ID
作用
类型与序列化
高阶
处理函数
ProcessFunction
KeyedProcessFunction
窗口处理函数
多流转换
合并及关联
分流
filter
侧输出流
合流
Union
Connect
join
Window Join
Interval Join
状态
状态原理
状态类型
状态存储
状态持久化
状态过期
容错机制
内存管理
内存模型
网络缓冲器
NetworkBuffer
数据交换
数据传递
网络通信
自由主题
收藏
0 条评论
下一页
