大数据平台架构图

yarn

Redis

Feign服务调用

Zuul

Ribbon负载均衡

前端系统

机器学习

路由跳转权限校验

hue

种子生成器

用户微服务

Kafka

Docker

移动web端

Vue

API GateWay

HDFS

Rancher编排

Hystrix服务熔断/降级

ELK服务

DockerHub私服镜像

持久化存储/第三方服务

redis

权限控制

ActiveMQ

架构说明

Hystrix

Rancher

客户端

...

服务部署

hadoop

基础服务

Gitlab

搜索引擎集群

内网业务服务

Axios

文件上传服务

Redis数据集群

网站标签化引擎

关系数据集群

消息中心(ActiveMq)集群

主屏服务

域名解析服务

Elasticsearch

App

服务端

文件同步服务

mongo

DFS

RDS

Java

内网资源服务

网关服务

FastDFS

爬虫调度器

任务调度服务

文件转存服务

Ribbon

flink

架构图

RESTful API

平台发布自动化

hive

基于Docker的微服务集群

业务层

分布式爬虫

服务注册发现（Eureka）

ES

Nginx

JWT

Spring Security

自动化服务

访问认证

Mysql

MQ

Docker部署自动化

大数据中心

平台业务选择区

Security

Eureka Client

Feign

数据清洗服务

Jenkis构建自动化

SpringBoot

外网调度服务

1.服务端使用SpringCloud技术栈实现微服务架构2.基于网关基础服务进行权限控制和路由转发3.开放平台网关基于spring security做安全认证，app、pc端、移动web端等基于JWT做安全认证 4.目前独立服务使用java语音基于SpringBoot构建工程5.所有服务部署到Docker集群中，资源动态伸缩，异常崩溃自动恢复6.使用客户的负载均衡Ribbo从服务注册中心拉取服务列表根据业务特点加权负载调用7.使用Hystrix做服务熔断/降级处理避免单个服务不可用引起系统雪崩，提高系统可用度8.所有服务均以docker实例集群运行，使用rancher进行容器编排，根据调用了自动伸缩，异常实例自动拉起

Vue-Router

数据采集器

前端

VueVuexweb前端

PC端

OSS

nginx

Eureka

Token

VueX

Python

元数据服务

kafka消息系统集群

技术栈

用户服务

FastDFS文件系统集群

代码版本库