大数据处理流程图

Data_dirty.xml

结构化数据提取

否

是

Data_duplicate.xml

Topic：dp_rt_log

Data_struct.xml

Hbase表:Dp_student_clazz_info

Topic:like

脏数据?

Topic：dp_life_info

Hbase表:Dp_rt_log

Hbase表:Dp_topic_info

Hbase表:Dp_life_info

数据清洗模块--定时任务

Kafka

批次内去重

Hbase表:Dp_dirty

Hbase表:Dp_life_filter