flume
hdfs sink
页面数据、事件数据、曝光数据、启动数据和错误数据。以JSON格式进行存储
dim_sku_info 常量表dim_coupon_infodim_activity_rule_infodim_base_province 特殊表dim_date_infob style=\
dwd_comment_info 事务型事实表dwd_order_detaildwd_order_refund_infodwd_cart_info 周期型快照事实表dwd_favor_infodwd_coupon_use 累积型快照事实表dwd_payment_infodwd_refund_paymentdwd_order_info
Kafka source->拦截器
数据传输
选择业务过程→声明粒度→确认维度→确认事实
lzo压缩的日志
DIM层
ods_base_dicods_base_trademarkods_base_category3ods_base_category2ods_base_category1ods_sku_info ods_spu_info 全量表ods_activtiy_infoods_activtity_ruleods_cart_infoods_favor_infoods_coupon_infoods_sku_attr_valueods_sku_sale_attr_value
ods_base_provinceods_base_region 特殊表
尚品汇电商网站
事务型事实表：一个数据插入之后不会发生改变周期型快照事实表：数据一天之内发生多次改变只关注最后一次结果。收藏表累积型快照事实表：数据存在多种状态、如订单表存在下单，取消、完成
维度表一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。 例如：用户、商品、日期、地区等。事实表事实表中的每行数据代表一个业务事件（下单、支付、退款、评价等）。“事实”这个术语表示的是业务事件的度量值（可统计次数、个数、金额等）
DIM层DIM层，维度层，保存维度数据，主要是对业务事实的描述信息，例如何人，何时，何地等
数仓
DWD层
ods_order_redund_infoods_order_status_infoods_order_detail 常量表ods_order_detail_activityods_order_detail_couponods_comment_info
ODM层1、保持数据原貌不做任何修改，起到备份数据的作用2、采用LZO压缩、减少磁盘空间3、创建分区表、较少全表扫描提高性能4、创建外部表
/log/topic_log
pc/app端
ods_log
dwd日志表dwd_start_logdwd_page_logdwd_action_logdwd_display_logdwd_error_log
业务数据
ods_coupon_useods_user_info 新增及变化ods_order_infoods_payment_infoods_refunt_payment
HDFS
DWD层对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、脱敏等。保存业务事实明细，一行信息代表一次业务行为，例如一次下单。
lzo压缩并且有索引
/db
MySQL数据库
服务器
Kafka
dim_sku_info 商品维度表（全量）以sku_info表为中心关联其他商品类的表如spu表、品牌表、三级分类表、商品销售属性表或者销售平台表等，因为这些表全都是全量同步，所以首日同步和每日同步只需要条件加上当天的分区即可dim_base_province 地区维度表（特殊）base_province表是省份地区表属于特殊表，存入之后不会被修改，所以我们只需要首日存入dim层不需要进行分区dim_user_info 用户维度表（拉链表）用户信息的数据会发生变化但是变化的频率不大，所以我们选择拉链表的形式进行存储。在原来的用户信息表里面添加两个新的字段开始时间和结束时间。分区分为每日的分区和9999-99-99。每日分区存入变化之前的数据，9999分区变化之后的数据。
/origin_data/gmall
用户行为日志
加载数据保持数据原貌不做任何修改加载语法load data inpath '/origin_data/gmall/log/topic_log/2020-06-14' into table ods_log partition(dt='2020-06-14');
Kafka channel
34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心
日志服务器
27张表
ODW层
Taildir source->拦截器
File channel
sqoop
