论文数据调度任务执行流程
2018-11-27 19:51:23 0 举报
数据分层处理流程
作者其他创作
大纲/内容
kylw_cpcis
kylw_science
ei
ES GDM层
cns论文
ES FDM层
rbe_dw_fdm_kylw_cscd
rbe_dw_fdm_kylw_cssci
kylw_cssci
HIVE ODS层
cscd
wos论文
udf将同一类型的表进行处理并根据版本信息存入到FDM层，调度任务数量根据udf决定。
kylw_ahci
kylw_cscd
HIVE FDM层
kylw_nature
rbe_dw_fdm_kylw_wos
kylw_cell
kylw_ssci
kylw_ei
kylw_scie
科研论文
rbe_dw_fdm_kylw_cns
udf将论文类型的表进行处理并根据版本信息存入到GDM层，调度任务数量根据udf决定。
mysql ODS层
rbe_dw_gdm_kylw
hive利用外部表将数据存储到同一个es科研论文索引中。
rbe_dw_fdm_kylw_ei
hive利用外部表将同一类型的数据存储到同一个es的索引中。
cssci
kylw
HIVE GDM层
sqoop逐表创建任务将mysql数据库中数据导入到对应的表中，并根据版本信息分区存储。
收藏
职业：暂无
0 条评论
回复 删除
下一页
