dws_ims_msg_monitor_di
ims_verification_1
binlog
国际监控平台项目
国际短信
根据维度组合按天聚合
每10s钟输出增量
SpringBoot消费标
使用FlinkSql取每个message_id的最新的记录
ims_detail_1
Flink-CDC(cdc-kafka)
ims_detail_31
柱状图
三.离线数据分析设计
度量:客户侧的总数客户侧的成功数客户侧的失败数客户侧未知数通道侧总数通道侧成功数通道侧失败数通道侧未知数消耗成本待回填总数回填数...
hive
统一接口提供标准的查询
折线图
Sqoop/Datax
1.大屏展示2.多维度实时分析
国际流水明细(mysql)
回填流水
客户维表_df
... ...
clickhouse明细数据(flink实时采集)_di
clickhousedws层表
oozie定时任务编写spark程序拉取
使用processFunction计算10s钟的增量
ads
饼图
监控平台包含3部分1.离线多维度分析2.实时在线展示发送量监控 通道侧 客户侧 地域 短信类型3.国际短信监控预警大屏实时展示
明细流水
每天导入Hiveods_ims_msg_detail_di
ims_detail_3
ims_verification_2
聚合数据spark传输导入clickhouse
一.国际运营项目概况
条形图
四.实时统计
配置数据集:维度列指标列分区字段
监控平台项目
每天定时跑批拉取数据到hive
join
dwd_ims_msg_detail_di
国际回填明细
全平台统计数据报表展示
ods_ims_msg_detail_di
国际数据库
二.数据采集
地域_df
ims_verification_31
维度:月日帐号通道类型客户名称地域消息类型来源...
ims_detail_2
通道维表_df
