

首页  思维导图  详情



云计算平台组件

2019-08-27 10:41:44   0  举报





AI智能生成

云计算平台组件及各组件概要介绍,包含Iaas、Paas、Daas、Saas部分，及各部分细分软件，涉及OpenStack平台、Hadoop平台等开源组件

云计算云服务 Pass 大数据 Hadoop

模版推荐

作者其他创作

大纲/内容

Iaas

资源服务

自动伸缩服务

网络服务服务

存储服务服务

VPC 服务服务

VDC 服务服务

弹性主机服务

负载均衡服务

资源编排服务

子主题 9

资源池

计算资源池

存储资源池

网络资源池

安全资源池

基础资源

服务器设备

网络设备

存储设备

其它设备

Paas

平台服务

数据传输交换

传输交换服务

数据存储

分布式并行数据库

关系型数据库服务

分布式文件系统服务

内存数据库服务

图数据库服务

全文检索数据库

分析计算

内存计算服务

离线计算服务

实时计算服务

流式计算服务

机器学习服务

平台服务

服务总线

任务调度

API 网关服务

可视化服务

地理信息服务

多媒体处理服务

认证服务

授权服务

容器管理

第三方服务接入管理

异构云平台统一调度

Saas

通用应用

专业应用

智能应用

应用工场

Daas

大数据资源管理平台

数据接入

数据探查

数据定义

数据读取

数据对账

数据处理

数据提取

数据清洗

数据关联

数据比对

数据标识

数据分发

数据治理

数据资源目录

数据分级分类

数据血缘管理

数据模型管理

数据标签管理

数据质量管理

数据运维管理

数据组织

原始库管理

资源库管理

主题库管理

知识库管理

业务库管理

业务要素索引库管理

数据服务

查询检索

比对订阅

模型分析

数据推送

数据鉴权

数据操作

数据管理

资源服务调度及安全机制实现

数据服务总线

数据服务总线管理

数据总线

状态总线

控制总线

数据交换共享

与科信部门信息共享

与网络安全部门信息共享

与其他侦控系统的信息共享

运维管理

资源配置管理

集群管理工具

数据运维平台

采集设备运维

大数据中心运维接口

运维数据备份恢复

数据资产展示

资源门户

运营门户

运维门户

安全保障

安全资源池

分布式虚拟化防火墙

分布式虚拟化数据库审计系统

OpenStack

计算

Nova

API Server（nova-api）

消息队列（rabbit-mq server）

运算工作站（nova-compute）

网络控制器（nova-network）

卷管理（nova-volume）

调度器（nova-scheduler）

存储

Cinder

Swift

Swift代理

Swift对象

Swift容器

Swift账户

Swift RING

网络

Neutron

自服务门户

Horizon

共享服务

认证

Keystone

服务入口

区位

用户

服务

角色

租间

监控计量

Ceilometer

镜像管理

Glance

Glance控制器

Glance注册器

高级服务

Heat

Trove

Hadoop

HDFS

架构

NameNode

元数据 (定期记录DataNode容量)

副本策略 (考虑容量和距离)

第一副本 (同机架，Client就近)

第二副本 (跨机架选择，高可靠)

第三副本 (第一副本机架选择)

DataNode

概念

块 (128M)

包 (64K)

Chunk (512byte)

MapReduce

MR模型.PNG

Map

Reduce

实战

WordCount流程图.PNG

Yarn

架构

ResourceManager

NodeManager

HBase

架构

Hmaster

RegionServer

Hive

Storm

架构

Nimbus

Supervisor

Spark

架构

Master Node (Cluster Manager) 控制整个集群，监控worker

Driver 运行应用main()函数

Worker Node 控制计算节点，启动Driver或Excuter

Excuter 某个应用运行在worker node上的一个进程

运行模式

Standalone

Spark-alone模式.png

Spark-alone任务流程图.png

Mesos

Yarn

Yarn Client

Spark-yarn_Client任务流程图.png

Yarn Cluster (Yarn Standalone)

Spark-yarn_Cluster任务流程图.png

本地模式

Local

Local Cluster

实战

Spark WordCount任务流程图.PNG

关键概念

RDD (弹性分布式数据集)

操作

Transformations (提供对应的继承自 RDD 类型)

Actions (继承自 RDD 的类都定义 compute 函数)

Spark-RDD-transformations-actions函数表.png

Job (包含多个Task组成的并行计算由Spark Action触发生成一个Application中会产生多个Job)

Stage (Job被拆分成多组Task，作一个TaskSet)

DAGScheduler

Spark概念串联图.png

HA方案

ZooKeeper

 Collect

Get Started

副本-平台版-华为云

 Collect

Get Started

云平台后台-业务流程图

 Collect

Get Started

云平台服务_云平台组件组_云平台架构图_云平台拓扑图

 Collect

Get Started

校务云平台操作流程





0 条评论

下一页