通过Phoenix表中的数据，实现数据可视化
hadoop集群HDFS
数据源
点击流日志数据
用户访问日志数据
web 界面展示
设计到的表：用户表
Sparksql 集群
获取hive元数据信息并进行数据处理
用户信息数据
数据可视化
将最终的用户画像模 型表映射到Hbase
Hive 数据仓库
Hbase 集群
sparkSql处理
创建Phoenix与Hb ase之间的映射表
用户交易数据
Phoenix 引擎
数据仓库
设计到的表：订单表 订单明细表 订单商品表 购物车表
1、数据业务处理流程如上图所示．数据源端 ——> hadoop 集群——> hive 数据仓库——> Sparksql 处理——> hive 数据仓库——> base 集群——> Phoenix ——> web 界面2 、最终我们会把不同的模型表分析的 sQI ，封装在一个 shell 脚本中执行．这里会涉及到相关的依赖．我们可以采用 azkaban 调度框架。3 、对于用户基本信息数据、用户交易数据、用户访问信息数据，由于是离线分析计算、可以每天定时去执行任务，按天进行分区．然后将各自所有历史数据进行了汇总而统计分析出来的，用户最后模型宽表的生成。 4 、最终模型表的生成不需要每天去跑，它是对以往大 量 数据进行分析处理．可以设置好时间定时去跑．比如：每个 3 个月、或者每隔 6 个月跑一次，形成最终的模型宽表数据，构建用户画像。
FlumeSqoop上传等...
数据采集
