架构图（二）技术架构(1)数据核心

2017-09-29 11:05:29   49  举报





数据处理核心技术架构图

技术架构

模版推荐

作者其他创作

大纲/内容

文件型NoSql存储MongoDb

Hadoop

Data Processor

请求记录器

HBase

共享文件存储

局域网内部某应用

轮询读取业务请求数据

采集数据直接入库

无法连接Hive时直接记录日志文件

FrameworkCore核心基础类库

A处理程序

生成会话ID，并队列请求数据

数据存储

外部

归档

统一根据会话ID，队列响应数据

Flume入库

响应记录器

过滤器A

轮询获取返回

SqlServer

数据处理

Hive

集成

KylinData Cube预处理型大数据分析引擎

数据采集工具（电力能效前置机等）

将结果返回

请求某数据报告的详细数据

返回Json结果

记录响应

返回Json格式响应

在架构设计上，数据核心负担着所有关键业务数据的写操作。数据核心是基于HTTP协议的一组微服务。数据核心只接受来自内网的请求。数据核心基于日志的形式提供Redo/Rollback的可能性即“事务完整性”。数据核心的响应基于内存请求队列机制。数据核心使用摘要式数字签名保证请求和响应无法被篡改。FrameworkCore（核心基础类库）是HttpApi（核心请求收发）和DataProcessor（核心数据处理）两个组件的共有基础组件。核心可以使用配置文件简单的达成负载均衡、分布式部署等功能。

结果接收器

内存型NoSql存储Redis

HttpApi

记录请求

关系型数据存储

POST 请求某 Uri在Body中用Json格式传数据

记录往来

B处理程序

过滤器B