银行系统系列-典型数据分析平台-技术架构图

Redis

SSDB

Streaming

客户画像

实时计算

tips：数据分析平台包括数据采集、数据收集服务、消息处理、实时计算和加载、数据存储及查询、数据分析应用几个部分。通过Android SDK、iOS SDK、JS SDK等客户端数据上传方式将数据通过Nginx加Lua服务器写入消息中心Kafka集群，Spark集群通过Spark streaming实时读取Kafka中原始数据，进行转换（添加附加信息、生成ID等），然后将转换后的数据写入Kafka中另一个Topic，同时将中间实时计算的一些结果写入SSDB和Redis中。Spark Streaming读取Kafka中转换后的数据，加载到数据仓库中。数据分析应用通过数据访问层进行查询操作，查询采用impala的视图，把HDFS表和kudu表数据用union合成一个视图。数据分析应用主要提供数据看板、运营数据分析、客户分群、客户画像等。

客户分群

消息中心

IOS SDk

缓存

Mysql

业务存储

kafka

存储引擎

数据收集

查询引擎

GraphX

KUDU

LUA

ES

数据业务逻辑访问层

nginx

数据分析

Web/JS SDk

MLLib

RestFul API

HDFS

Impala

采集方式

数据看板

Android SDk