数据流统一
2016-09-08 15:39:14 0 举报
数据流统一是指将来自不同来源、格式和结构的数据整合到一个统一的平台或系统中，以便于数据的存储、管理和分析。通过数据流统一，可以实现数据的高效利用，提高企业的决策效率和竞争力。数据流统一的过程包括数据采集、清洗、转换、加载等环节，需要借助于大数据技术、云计算平台和人工智能算法等工具来实现。数据流统一不仅可以帮助企业降低成本、提高效率，还可以为企业带来更多的商业机会和价值。
作者其他创作
大纲/内容
报表
数据抽取器(ETL)（多组，分布式部署）
...
HDFS
rsync
西瓜服务端
数据分析
游戏客户端
游戏服务端
文件仓库(HDFS)
MQ
HTTP
1. 游戏客户端、服务端及西瓜服务端上报的数据统一存放在文件仓库中2. 文件仓库的目录结构按照\"游戏/日期/文件类型\"的方式分目录存放3. 实时性要求高的数据，可以通过socket长连接直接推送给数据分析模块（可选）4. ETL负责完成数据入库前的检查、校验、转换及分拣功能样例：/readme/game1/20160908/client/login/xxx/game1/20160908/server/runtime/xxx
游戏角色库(每日dump)
日志检索
数据网关（多组）
0 条评论
回复 删除
下一页
