web服务查Redis\\Mysql ->展示大屏幕
Flink程序
右
Flume(FlieBeat)
keyBy
窗口
https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html#taildir-source
排序
过滤
union
K-V流转Bean对象
测流输出(Redis)
主流输出(Chlickhouse)
视频服务
{\"carrier\":\"中国电信\
查官网设置水位线使用策略指定字段
Flink
FlinkUtil(kafka数据源)
水位线延迟2s
设置水位线
tb_order
MySql
拼团明细表
新老用户
MySQL
Canal
filter过滤
维度流
主输出: OrderMain流
WEB
分组
DataBean{font color=\"#ff0000\
拼团明细表 左连 订单主表(订单ID)== 流1流1 左连 拼团主表(拼团主表ID)==流2在流2进行后续的相关维度计算操作
设Kafka数据源的格式(k-v)
https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/connectors/datastream/jdbc/
分组:根据主播id
直播礼物实时分析(按照主播（直播间）统计礼物的积分)
输出
时间、用户ID、拼团主表ID、font color=\"#ff0000\
Kafka(topic = accessyjx)
设计问题
实时统计订单相关的指标实时将订单表和订单商品表连在一起后续计算
图片服务
日志采集服务器(Nginx)
topic: orderdetail
主流
Nginx(自带负载均衡)(Openresty(luy))
process
log
订单主表
分组求和
业务逻辑
Nginx(Openresty(luy))
JDBC输出到ClickHouse
FlinkETL
Drools
Kafka
滚动窗口5s迟到数据测流输出
业务系统
OrderMain{font color=\"#ff0000\
地理位置
log文件
Union
//测输出数据写到Redis--configFlinkJedisPoolConfig config = new FlinkJedisPoolConfig.Builder().setHost(\"192.168.2.102\
RedisChlickhouse
滑动窗口
APP
1. 直播间主播带货总金额、商品成交（下单）数量2. 直播间主播带商品各个分类的成交金额、商品成交（下单）数量3. 一天内中的成交金额4. 一天各个分类成交金额（维度：省份、操作系统、手机型...）5. 各种下单后商品的状态跟踪（下单 -> 支付 -> 发货 -> 签收 -> 评价）（下单 -> 用户取消 -> 系统取消）
时间，font color=\"#ff0000\
connect.process
b -> b.getEventId().startsWith(\"product\"）
Flume
topic: ordermain
MySQl数据源
(font color=\"#ff0000\
拼团主表
tb_order_goods
a1.sources = r1a1.channels = c1a1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /root/taildir_position.jsona1.sources.r1.filegroups = f1 //设置文件的路径a1.sources.r1.filegroups.f1 = /logs/access-.*\\.log font color=\"#ff0000\
增量聚合
实时拼团的金额(模拟)
{ \"carrier\":\"中国联通\
b -> b.getEventId().startsWith(\"live\
coGroup
数据源
热门商品top-N(统计10分钟内，各个分类、各种事件类型的热门商品)
左
