电商系统数据架构图
2025-11-03 22:51:31 0 举报这张电商系统数据架构图从下到上分为六层。数据源层包含系统数据（日志、监控、事件）、业务数据（用户、商品、订单、营销）、外部数据（第三方、爬虫）；数据采集层通过实时（Canal、Flume 等）、批量（Sqoop、DataX 等）、流式（Kafka Connect、Flink CDC 等）三种方式采集数据；数据存储层涵盖搜索存储（Elasticsearch、Solr）、消息队列（Kafka、RocketMQ）、对象存储（HDFS 等）、OLAP 存储（Hive、ClickHouse 等）、OLTP 存储（MySQL、Redis 等）；数据处理层支持流式处理（Flink 等）、批处理（Spark 等）、机器学习（Spark MLlib、TensorFlow 等）；数据服务层提供统一数据服务（数据 API、网关等）和查询服务（Presto、Kylin 等）；数据应用层落地于 BI 报表（Superset 等）、业务应用（推荐、风控等）、数据产品（用户画像、经营驾驶舱等），实现电商数据从采集存储到价值应用的全链路架构。
作者其他创作
大纲/内容
数据源层（Data Source Layer）
实时采集
爬虫数据<竞品·价格·评论>
数据API<统一数据接口>
MongoDB<文档存储>
Hive数仓<离线数据仓库>
业务应用
对象存储
搜索存储
OLAP存储
Apache Druid<实时分析 时序数据>
日志数据<访问·操作·错误>
业务数据
Spark Streaming<微批处理>
流式处理
商品数据<SPU·SKU·库存>
PyTorch<深度学习 模型训练>
系统数据
对象存储<图片·视频·文档>
数据集市<数据资产>
Tableau<商业智能>
营销数据<活动·优惠券·推广>
Flink CDC<变更数据捕获>
Elasticsearch集群<全文检索 日志分析>
HDFS<分布式文件系统>
经营驾驶舱<实时大屏>
Hive SQL<数据仓库 离线分析>
RocketMQ集群<事务消息 顺序消息>
数据存储层（Data Storage Layer）
OLTP存储
TensorFlow<深度学习 神经网络>
Doris集群<统一olap多维分析>
BI报表
数据应用层（Data Application Layer）
Redis集群<缓存·会话>
机器学习
Grafana<监控面板>
外部数据
ApacheKylinOLAP<预计算>
订单数据<交易·支付·物流>
Sqoop<关系型数据库>
查询服务
API同步<第三方接口>
Kafka Connect<流数据连接器>
风控系统<实时风控>
批量采集
监控数据<性能·资源·告警>
用户画像<标签体系>
Filebeat<文件采集>
Flume<日志采集>
流式采集
批处理
Presto<交互式查询>
推荐引擎<个性化推荐>
数据采集层（Data Collection Layer）
定价引擎<动态定价>
用户数据<注册·登录·行为>
数据网关<访问控制·限流>
MapReduce<分布式计算>
数据处理层（Data Processing Layer）
DataX<异构数据源>
数据产品
Solr集群<商品搜索facet查询>
Spark MLlib<机器学习 特征工程>
数据服务层（Data Service Layer）
MySQL集群<主从·分库·分表>
Storm处理<实时流处理>
Flink流处理<实时计算 窗口聚合>
统一数据服务
Kafka集群<高吞吐消息 事件流>
Canal<MySQL Binlog>
ClickHouse集群<实时olap分析报告>
消息队列
元数据服务<数据血缘·质量>
第三方数据<支付·物流·社交>
Spark批处理<大数据 ETL处理>
Apache Superset<可视化分析>
事件数据<消息·通知·状态变更>
0 条评论
下一页
