大数据实时计算框架

topic:mobilecharge

SparkStreaming

用户历史表Kudu

sqlserver[SD_DATA_ADV].[rpt].[Adv_UrlMonitor]

记录kafkatopic的偏移量

设备历史表Kudu

登录接口获取用户（AccountId）首次登录信息

HBase

事件表（mobilelogin）30天用户登录行为数据Kudu

按产品、AccountId、天充值数据

Hdfs

按产品、渠道、平台，日周月算出 留存数据

topic:ADV

按产品、AccountId、天消费数据

数据格式按Adv_UrlData按产品，渠道、平台、媒体选择、投放人员、日周月汇总点击数数据

topic:mobilelogin

Kudu

Redis

kafka

按产品、渠道、平台，日周月算出充值1-30金额，充值账号数、消费金额，消费账号数、新增账号数

左右两侧数据按产品、渠道关联媒体选择、投放人员

topic:mobileconsume