美分宝数据平台架构设计
2016-07-09 12:16:18 0 举报
美分宝数据平台架构设计采用了分层的微服务架构,包括数据采集层、数据处理层、数据分析层和数据展示层。数据采集层负责从各个数据源获取数据,并将数据存储到数据库中;数据处理层负责对数据进行清洗、转换和整合,以满足不同的业务需求;数据分析层负责对数据进行分析和挖掘,以发现潜在的商业价值;数据展示层负责将分析结果以可视化的方式呈现给用户。此外,美分宝还采用了容器化技术来部署应用程序,以提高系统的可扩展性和可靠性。总之,美分宝数据平台架构设计旨在为用户提供高效、可靠、易用的数据服务。
作者其他创作
大纲/内容
管理 & 实时分析应用
FTP
过滤排序
运营信息数据集市
决策层用户
临时数据缓冲区
任务
数据区数据交换组件
sqoop
通知提醒
HTTP
用户标签视图
任务引擎
产品策略匹配
OCG
数据库数据交换组件
业务分析
核心服务组件
芝麻信用要素
同盾风险要素
业务预测
业务分析层用户
元数据采集
用户
ETL 管理与监控
数据归档
NFS
抽取
内存数据库集群
元数据管理
通用服务
大数据区
ODBC
客户群用户画像生成
配置/命名管理
转换
挖掘类标签生产
分析型挖掘类标签生产
协同管理
外部合作用户
加载
元数据服务
贴源整合区
新氧平台实际交易数据
NAS集群
权限管理
关联外部电商
大数据交换组件
Microstrategy 集群
质量检查
Microstrategy Web
流程优化
新氧社区平台UGC数据
ETL流程调度
.......................
关联运营商
日志&审计
挖掘分析平台
流程调度 & 任务定义
用户信息数据集市
ETL Repository
DMRepository
单一用户画像生产
基础服务
监控
实时分析平台
数据推送平台
数据源
基础计算平台
数据交换平台
Tomcat Web 集群
新痒平台/APP操作行为数据
HTTP 服务
流程调度平台
用户基础数据平台一期架构设计图
日志引擎
0 条评论
下一页