DIM
Hadoop HDFS
开源数据湖架构
Kettle
机器学习
Clickhouse
优点：简单，容易开发缺点：没有模型，数据不能复用，浪费资源
dim
mysql实时维表
实时bl看板
数据清洗
log
Redis
数据集市
离线分析
用户画像
JindoFS（阿里筋斗云）
Sqoop
ES
离线
文本
DWD
实时olap
Flume/LogStash
AWS S3 简单存储服务
DWS/DM
Greenplum
实时数据接口
binlog
TiDB
数据源
流表定义
采集 --> 清洗 --> 存储 --> 计算 --> 分析 --> 应用
实时数据
推荐系统
数据处理
业务查询
数据层
Yarn
APP/ADS
SparkSQL
flinkcdc
db
Impala
数据总线
平台层（执行引擎）
底层存储层
kafka
flume
大数据平台整体架构
实时数据仓库系统技术架构（多分层，中间结果基于MQ，深度加工入库）
Flink DataSet
计算引擎层
https://docs.delta.io/latest/delta-intro.htmlDelta Lake是一个开源项目，可以在数据湖之上构建Lakehouse 架构。Delta Lake 提供 ACID 事务、可扩展的元数据处理，并在现有数据湖（如 S3、ADLS、GCS 和 HDFS）之上统一流和批处理数据处理。https://iceberg.apache.org/docs/latest/Apache Iceberg 是一种用于大型分析数据集的开放表格式。Iceberg 使用类似于 SQL 表的高性能表格式向包括 Spark、Trino、PrestoDB、Flink 和 Hive 在内的计算引擎添加表。 https://hudi.apache.org/Apache Hudi | Apache Hudi是一个Data Lakes的开源方案，Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。什么是LakeHouse架构？https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.htmlhttps://docs.alluxio.io/os/user/stable/en/Overview.htmlfont color=\"#ff0000\
实时数据仓库系统技术架构（无分层，没有中间加工逻辑，直接入库）
自定义UDF处理
优点：数据模型可以复用，整体数仓延迟低缺点：1、kafka无法支持海量数据存储2、kafka无法进行中间模型层的OLAP分析
应用层
数据通道
分布式离线计算
数据采集层
数据采集/数据通道
指标加工
什么是LakeHouse架构？https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
表格式层（把数据文件封装成有业务含义的Table，提供ACID，snapshot、schema、partition等表级别语义）
数据应用
MapReduce
ODS
系统日志
商品分析
实时
实时数仓
实时bI看板
离线数据仓库系统架构
实时预警
MR
数据加速层（数据湖架构是一个尺寸出计算彻底分离的架构，增加加速层，自然实现冷热分离，提高读取性能，节省远程访问带宽）
业务DB数据
爬虫
数据模型
数据大屏
命名规范
Storm
dwd
数据仓库层
HDFS、HBase
阿里云OSS对象存储服务
finksql
Sqoop/Datax
用户行为数据
ods
聚合计算
爬虫数据
TMP
SparkCore
FlinkDataStream
业务报表
SQL
Flume
离线数据
Kafka
MySQL
dws
SQL（Hive、Spark SQL、Flink SQL）
多流join
SparkStreaming
基于HIve的离线数仓 ETL
