

首页  思维导图  详情



大数据技术体系图谱

2020-06-16 10:32:17   0  举报





AI智能生成

大数据技术体系图谱

大数据；框架

大数据

模版推荐

作者其他创作

大纲/内容

基础技术

数据分片路由

哈希分片(Hash Partition)

范围分片(Range Partition)

数据一致性

理论基础

CAP理论

BASE理论

ACID

副本更新策略

主从

同步

任意节点

协议

两段式提交

Paxos协议

Raft协议

向量时钟

RWN协议

权重模型

最终一致性

强一致性

单调读一致性

单调写一致性

会话一致性

常用算法与数据结构

Merkle Tree

LSM-tree

Trie Tree

Bitmap

Bloom Filter

SkipList

cuckoo hashing

snappy与LZSS算法

数据治理

相关概念

基础理论

ISO38500 IT治理框架

DAMA理论

DGI理论

IBM数据治理理论

ISACA COBITS

治理框架

原则

范围

战略&组织

数据质量

数据生命周期

数据架构

数据安全

服务创新

实施&评估

成熟度评估

审计

促成因素

数据规范标准

元数据管理

基本概念

采集存储

查询分析

血缘分析

影响分析

数据地图展现

专题管理

生命周期管理

业务属性管理

一致性检测监控

常见工具&方法

Cloudera Navigator

公告仓库元模型(CWM)

HCatalog

Apacha Atals

WhereHows

主数据管理

大数据架构管理

数据质量

基本概念

参考框架

策略

控制目标

职责角色

流程方法

支撑保障

实施方法

常用工具&方法

数据安全

传输安全

存储安全

管理安全

应用安全

应用治理

常见框架&产品

数据应用

基本概念

大数据商业价值

对顾客群体细分

模拟实境

提高投入回报率

个性化精准推荐

数据搜索

……

数据产品分类

营销类

征信类

媒体类

安全类

图标类

画像类

工具类

商业智能(BI)

应用领域

教育

医疗

运输

能源

金融

农业

……

数据服务

OLAP

基本概念

维度(Dimension)

维度层次(Lever of Dimension)

维度成员(Member of Dimension)

度量(Measure)

操作

下探(Drill down)

上钻(Drill up)

切片(Slice)

切块(Dice)

旋转(Pivot)

分类

MOLAP(Multi-dimensional OLAP)

Cognos Powerplay

Oracle Database OLAP Option

MicroStrategy

Microsoft Analysis Services

Essbase

kylin

ROLAP(Relational OLAP)

Vertica

Amazon Redshift

Google Dremel

Hulu Nesto

Presto

Druid

Impala

Greenplum

Doris

HOLAP

语法解析

数据处理

SqlLite

Groovy

Guava

Aviator

规则流程编排

drools

Activiti

Tiny

Blockly

服务化

dubbo

hsf

spring boot

spring cloud

数据可视化

可视化基础

流程

通道

设计

可视化分析

交互技术

交互模式

常用图表

树状图

漏斗图

行为路径分析图

雷达图

箱线图

柱状图

折线图

饼图

常用框架

D3.js

Echart

Raw

Bonsaijs

arborjs

springy

Raphael图例库

常用配色

Fusion

FairyGUI

模板引擎

freemarker

velocity

thymeleaf

数据共享

系统集成

页面集成

区块集成

方式

文件

打印

截图

渠道

微信

企业微信

钉钉

邮件

数据预警

调度

Quartz

opencron

LTS

XXL-JOB

Elastic-job

规则引擎

Groovy

Aviator

drools

数据预测

应用部署

容器化

docker

k8s

国际化

自动化打包部署

maven

gradle

jenkins

web容器&代理服务器

jetty

tomcat

nginx

数据采集

日志采集

埋点

PC 打点

移动端打点

服务端打点

采集框架

Logstash

Flume

Fluentd

Chukwa

外部数据

网络数据采集

文本

图片

视频

爬虫技术

Nutch

Heritrix

Scrapy

WebCollector

IoT设备

传感器

探针

数据传输

消息队列

Kafka

ActiveMQ

RabbitMQ

RocketMQ

ZeroMQ

数据同步

DataX

Kettle

Cannal

OGG(Oracle Golden Gate)

SymmetricDS

Sqoop

数据订阅

Databus

Otter

Wormhole

阿里云 DTS

序列化

JSON

Protobuf

Hessian

FST

MessagePack

Avro

Kryo

数据存储

物理存储

主流框架

直连式存储(DAS:Direct-Attached Storage)

网络化存储(FAS:Fabric-Attached Storage)

网络接入存储(NAS:Network-Attached Storage)

存储区域网络(SAN:Storage Area Network)

存储类型

文件存储

FTP

NFS

NAS

块存储

磁盘阵列

DAS

SAN

对象存储

分布式文件/对象存储

OSS(阿里云) 

COS(腾讯云)

OBS(华为云)

KODO(七牛云)

UFile(UCloud)

HDFS

Open Stack Swift

Ceph

GlasterFS

Facebook Hasystack

Lustre

AFS

分布式关系型数据库

DRDS

TiDB

Cobar

Mycat

Aurora

分析型数据库

Druid

Kylin

Vertica

AanalyticDB

LucidDB

InfiniDB

MonetDB

搜索引擎

Elasticsearch

Solr

OpenSearch

Splunk

K-V存储

Redis

Memcached

Tair

图数据库

Titan

Neo4j

ArangoDB

OrientDB

MapGraph

列存储数据库

Cassandra

Hbase

Kudu

Hypertable

Apache Accumulo

文档数据库

MongoDB

CouchDB

MarkLogic

OrientDB

时序数据库

InfluxDB

Druid

TimescaleDB

OpenTSDB

Graphite

阿里云HiTSDB

数据处理

数据计算

流式计算(stream computing)

Storm

Flink

Spark Streaming

Kafka Stream

Twitter Heron

Apacha Samza

大规模批量计算(batch computing)

MapReduce

Hive

Spark

Pig

即席查询分析(ad-hoc computing)

Impala

Hawq

Dremel

Drill

Phoenix

Tajo

Presto

Hortonworks Stinger

全量计算&增量计算

基础知识

Lamdba架构

Kappa架构

IOTA架构

常见框架

Druid

Galaxy

Microsoft Kineograph

Google Percolator

图计算

基础知识

GAS 编程模型

BSP模型&SSP模型

节点为中心编程模型

计算范型

常见框架

Pregel

GraphChi

Spark GraphX

PowerGrah

Apache Giraph

Apache Hama

分布式协调系统

Zookeeper

Eureka

Consul

Chubby

阿里 Diamond

阿里 ConfigServer

集群资源管理与调度

管理调度框架

Omega

Brog

Mesos

Corona

Yarn

Torca

管理和监控工具

Ambari

Chukwa

Hue

工作流管理引擎

Oozie

Azkaban

Luigi

Airflow

数据仓库

基本概念&原理

体系结构

设计&建模

数据挖掘

基本概念

功能分类

通用方法

分类&聚类

预测&回归

时间序列分析

关联规则&偏差检测

……

统计分析

主成分分析

因子分析

机器学习

决策树

贝叶斯

遗传算法

……

深度学习

卷积神经网络

RBN

DBN

……

常用技术

Mahout

Spark Mlib

Tensorflow

数据测试

大数据产品测试基准

Bigtop

数据湖

基本概念&原理

 Collect

Get Started

产业数据图谱

 Collect

Get Started

美观、专业的大数据平台技术架构图

 Collect

Get Started

大数据产品体系架构图

 Collect

Get Started

大数据湖体系规划架构图





0 条评论

下一页