数据仓库架构图
2016-02-19 17:26:22 32 举报
该数据仓库架构图展示了一个高度可扩展和灵活的数据存储解决方案。在图中,我们可以看到三个主要组件:数据采集层、数据处理层和数据存储层。数据采集层负责从各种源系统中收集数据,并将其传输到数据处理层。数据处理层使用ETL(提取、转换和加载)过程对原始数据进行清洗、转换和整合,以便在数据存储层中进行分析和使用。数据存储层采用高性能的关系型数据库管理系统(RDBMS),如MySQL或Oracle,以支持大规模数据的存储和查询。此外,该架构还包括一个元数据管理模块,用于跟踪和管理数据仓库中的所有对象和属性。通过这种分层的设计,数据仓库能够有效地处理大量数据,并为业务用户提供实时的、准确的信息。
作者其他创作
大纲/内容
webserver
...........
kafka集群
dump
delivery(openresty)
set
user feature
bid log、pv log
Ads audiences
databus
farmer
flume
local file
scribe
Druid
rank(lab_common_so)
ES
user feature filehdfs
MsgCenter(Msg Queue)
exposurelist
uninterestedlist
del
index(lab_common_so)
ads feature file
behavior log
producer
hdfs
data warehouse
redis
storm集群
easy consumer
User trajectory
Druid:高效的多维度同步查询
hbase
BP
meta data
在线服务
storm:实时流式计算分析
bhv log
kafka:读写磁盘,适合分发日志;按照标记来消费一份数据,避免重复落地数据
consumer- python
IDX(openresty)
user features
consumer
rebuild
kafka2ES
ad result
订单mysql
ad cands
online/offline msg
get
Oceanus
0 条评论
回复 删除
下一页