stock行业
2016-05-25 10:14:45 0 举报大数据 处理日志
作者其他创作
大纲/内容
解决方案
案例
1. 每日产生的用户交易实时数据、统计分析数据、运营分析数据以及广告监测数据，数据量多而复杂；2. 各种数据之间存在着密切的关联，需要综合多类数据进行判断和决策；3. 对安全性要求比较高，要求能同时进行数据隔离和共享；4. 对数据处理忍受的最大时限为T+1工作日。
行业痛点
某知名大型券商依托大数据平台的优势，将Oracle数据库中的用户数据及大量交易数据、TalkingData中的数据、移动应用端的用户数据以及其他业务数据通过Sqoop、Flume存入HDFS中，在HDFS中根据业务需求进行数据处理和清洗，最后通过Hive与Impala接口呈现在报表系统中。其具体架构如下图所示。
0 条评论
下一页
