Flink06--部署+组件
2023-02-07 14:10:42 0 举报Flink06--部署
作者其他创作
大纲/内容
TaskManager
简单where/or
资源管理
模式
匹配条件
2. 启动并提交应用
Session模式
Task Slot
Flink部署
数据流的具体计算就是它来做的TaskManager 可以缓冲数据，还可以跟其他运行同一应用的 TaskManager交换数据
HDFS
任务调度
Flink Client
1. 提交应用
optional
任务提交流程（YARN）
目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件输出：满足规则的复杂事件
Yarn[资源管理+任务调度]
JobManagerMaster负责管理调度
任务提交方式
ApplicationMaster
JobManager
我们把这些简单的模式称作模式。模式序列： 中抽取的复杂模式序列，每个复杂的模式序列包括多个简单的模式
单个模式
WebUl
4. 申请资源
迭代基于上面的查询进行迭代
9. 交换数据
ResourceManager
// 期望出现4次start.times(4);
搭建环境
TaskManagerWorker负责任务执行
Command
任务提交流程
ApplicationMode
停止条件
7. 提供slots8. 提交要在slots中执行的任务
松散连续followedBy()
不确定的松散连续:
standalone 集群多态服务器[资源管理+任务调度]这些都有flink完成，它本身也自带了这些组件
// 期望出现1到多次，并且尽可能的重复次数多start.oneOrMore().greedy();
如果使用循环模式（ oneOrMore() 和oneOrMore().optional() ），你可以指定一个停止条件，例如，接受事件的值大于5直到值的和小于50。
匹配的上一个数据和下一个数据必须紧挨在一起
你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。
Container
部署Yarn模式的任务
// 期望出现1到多次start.oneOrMore();
运行流程
ResourceManager(主NameNode)
NodeManager
Flink组件
循环模式，无界流。
flink run -c com.yjxxt.flink.Holle01cluster -p 2 -m node03:39495 /root/flink060106_util.jar
Dispatcher
APP
部署StandAlone模式的任务
1. 上传Flink的Jar包和配置
times
把subtype 条件和其他的条件结合起来使用。一个事件只有是这个子类型的时候才能匹配到模式。
CEP: 特定的事件模型
匹配次数
Flink & Yarn
每个job 独享一个集群，job 退出集群则退出，用户类的 main 方法在 client 端运行在那个节点提交JobMaster就在那个节点运行优点: 作业运行完成资源立刻会被释放缺点: 每次递交作业都需要申请资源，会影响执行效率，申请资源需要消耗时间比较合适大 job，运行时长很长
共享执行空间的模式整个Flink首先在Yarn上整体声明一份空间(资源 Container]，所有的Fink任务都在这个空间上执行优点: 节省了大量的分配空间和是空间的时间缺点:作业执行完成后，资源不会被释放，因此会一直占用系统资源适合小作业比较多，作业递交比较频繁的场景
它会为 TaskManager 生成一个新的 Flink 配置文件（这样它们才能连上JobManager）。该文件也同样会上传到 HDFS。
Local本地右键run一下代码，会产生临时的环境开发测试自己的代码
严格连续next()
5. 启动TaskManager
每个复杂的模式序列包括多个简单的模式
公共的资源管理框架mesoshttps://mesos.apache.org/
Per-JobMode
组合模式
用户程序的 main 方法在集群中运行，而不是在客户端运行减少客户端的压力吗比较合适大job，运行时长很长，适用于生产环境
2. 提交Job
组合条件将节点和迭代条件叠加到一起
定义
TaskMapTask+ReduceTask
greedy
4. 启动5. 注册slots6. 发送提供slot的指令
3. 启动ApplicationMaster
加载Flink的Jar和配置构建环境
3. 请求slots
oneOrMore
// 期望出现0或者4次start.times(4).optional();
0 条评论
下一页
