AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
analytics-sink流程图
2020-12-01 14:52:49
0
举报
分享方式
仅支持查看
sadas
sdd
模版推荐
作者其他创作
大纲/内容
将analytics.es topic中数据写入到es上
kStream
elasticSearchStream
MdmMessage
会根据json和指定字段处理返回MapEvent对象
KafkaMessage
Message
branch
主要流，根据type类型进行branch，执行不同的操作
doRoute
transform
buildMsgpacktype=2
根据SaSchema的StoredType类型来生成不同类型的消息（hdfs，kafka，es，mdm）
buildJsontype=1
hdfsStream
会根据json和指定字段划分出多个MapEvent对象，使用List存储
会优先写入hdfs中，进行存储，根据type类型划分存储对应的文件名
kafka-topic
archiveStream
HdfsMessage
toList
根据生成不同类型的消息对象进行分流，存储在kafka的不同topic下
该方法主要是根据eventId从数据库中的sa_schema和sa_schema_column两表获取数据，生成多个SaSchema，再根据saschema对象获取到SaSchemaColumns，将处理好的EventInput的字段数据与SaSchemaColumns字段名形成kv格式的map
analytics.source数据源
将analytics.hdfs topic中数据写入到hdfs上
对json中的字段进行特殊处理
ElasticSearchMessage
HDFS
收藏
立即使用
analytics-sink流程图
收藏
立即使用
大数据知识点
收藏
立即使用
Yarn工作流程
收藏
立即使用
Spring Cloud
请叫我浮云哥
职业：暂无
去主页
Collect
Get Started
流程图
Collect
Get Started
play()函数流程图
Collect
Get Started
流程图
Collect
Get Started
业务流程图
评论
0
条评论
下一页
Document
