

首页  思维导图  详情



大数据技术知识体系

2022-01-25 19:54:56   5  举报





AI智能生成

可能是最全的大数据技术知识体系

大数据

知识图谱

知识体系

大数据技术架构

技术知识体系

模版推荐

作者其他创作

大纲/内容

基础技术

数据分片路由

哈希分片（Hash Partition）

轮询（Round Robin）

虚拟桶（Virtual Buckets）

一致性哈希（Consistent Hashing）

范围分片（Range Partition）

数据复制&一致性

理论基础

CAP理论

BASE理论

ACID

协议

两阶段提交

三阶段提交

Raft协议<br>

Paxos协议

RWN协议

向量时钟

一致性模型

单调读一致性

单调写一致性

会话一致性

强一致性

最终一致性

副本更新策略

主从更新

同时更新

任意节点更新

数据结构

SkipList

LSM Tree

Bitmap

Merkle Tree

Trie Tree

常用算法

Bloom Filter

cuckoo hashing

snappy与LZSS算法

数据采集

系统日志

埋点

浏览器（PC）打点

移动端打点

Android端SDK

IOS端SDK

Wp端SDK

服务端打点

无痕埋点-可视化埋点

数据采集框架

Flume

Fluentd

Logstash

Scribe

Chukwa

Splunk Forwarder

外部数据

网络数据采集

文本

图片

视频

爬虫技术

Nutch

Heritrix

Scrapy

WebCollector

IoT设备

传感器

探针

数据传输

消息队列

ActiveMQ

ZeroMQ

RabbitMQ

RocketMQ

Kafka

Apache Apollo

Apache Pulsar

数据同步

DataX

Kettle

Canal

OGG(Oracle Golden Gate)

SymmetricDS

Sqoop

DbSync

数据订阅

Databus

Otter

Wormhole

DTS

序列化

JSON

Protobuf

Hessian

FST

MessagePack

Avro

Kryo

数据存储

物理存储

主流框架

直连式存储（DAS：Direct-Attached Storage）

网络化存储（FAS：Fabric-Attached Storage）

网络接入存储（NAS：Network-Attached Storage）

存储区域网络（SAN：Storage Area Network）

存储类型

文件存储

FTP

NFS

NAS

块存储

磁盘阵列

DAS

SAN

对象存储

分布式文件/对象存储

HDFS

Open Stack Swift

Ceph

GlasterFS

Facebook Hasystack

Lustre

AFS

OSS（阿里云）

COS（腾讯云）

OBS（华为云）

KODO（七牛云）

UFile（优刻得）

分布式关系型数据库

DRDS

Mycat

Cobar

Aurora

GreenPlum

TiDB

分析型数据库

Kylin

Analytic DB

Druid

Clickhouse

Vertica

MonetDB

InfiniDB

LucidDB

搜索引擎

ElasticSearch

Solr

OpenSearch

Splunk

键值（K-V）存储

Redis

Memcached

Tair

Amazon DynamoDB

图数据库

AllegroGraph

Neo4J

Titan

ArangoDB

OrientDB

MapGraph

列式存储

Kudu

Hbase

Cassandra

Hypertable

Apache Accumulo

文档数据库

MongoDB

CouchDB

MarkLogic

OrientDB

时序数据库

InfluxDB

Graphite

Kdb+

OpenTSDB

Druid

TimescaleDB

HiTSDB

面向对象数据库

Versant Object Database

RDF 数据库

多媒体数据库

事件存储数据库

数据处理

数据计算

流式计算（stream computing）

Storm

Flink

Yahoo S4

Kafka Stream

Twitter Heron

Apache Samza

Spark Streaming

大规模批量计算（batch computing）

Tez

MapReduce

Hive

Spark

Pig

Apache Beam

即席查询分析（ad-hoc computing）

Impala

Kylin

Druid

Hawq

Dremel

Drill

Phoenix

Tajo

Presto

Hortonworks Stinger

全量计算&增量计算

基础知识

Lamdba架构

Kappa架构

IOTA架构

常见框架

Druid

Galaxy

Microsoft Kineograph

Google Percolator

图计算

基础知识

GAS编程模型

节点为中心编程模型

计算范型

BSP模型

SSP模型

常见架构

Pregel

GraphChi

Spark GraphX

PowerGraph

Apache Giraph

Apache Hama

分布式协调系统

Chubby

Zookeeper

Eureka

Consul

集群资源管理和调度

管理调度框架

Omega

Brog

Mesos

Corona

Yarn

Torca

管理和监控工具

Ambari

Chukwa

Hue

Apache Zeppelin

工作流管理引擎

Oozie

Azkaban

Luigi

Airflow

Kubeflow

数据仓库

基本概念

原理

体系结构

数仓设计

数据建模

数据分析挖掘

基本概念

功能分类

通用方法

分类&聚类

预测&回归

时间序列分析

关联规则&偏差检测

......

统计分析

主成因分析

因子分析

机器学习

决策树

贝叶斯

遗传算法

......

深度学习

卷积神经网络

RBN

DBN

......

常用技术

Tensorflow

Spark Mlib

Mahout

数据测试

大数据基准测试

Apache Bigtop

数据湖

基本概念

原理

平台工具

数据治理

相关概念

数据治理理论

ISO38500 IT治理框架

DAMA 理论

DGI 理论

IBM 数据治理理论

ISACA COBIT5

数据治理框架

原则

战略

组织

数据质量

数据生命周期

数据架构

数据安全

大数据服务创新

实施和评估

成熟度评估

审计

促成因素

数据规范标准

元数据管理

基本概念

采集存储

查询分析

血缘分析

影响分析

数据地图展现

专题管理

生命周期管理

业务属性管理

一致性检测监控

常见工具&方法

Cloudera Navigator

HCatalog

Apache Atlas

WhereHows

CWM（公告仓库元模型）

主数据管理

计算管理

存储管理

数据模型

大数据框架管理

数据质量

基本概念

参考框架

策略

控制目标

职责角色

流程方法

支撑保障

实施方法

常用工具&方法

数据安全

传输安全

存储安全

管理安全

应用安全

应用治理

业界框架产品

数据应用

基本概念

大数据商业价值

对顾客群体细分

模拟实境

提高投入回报率

个性化精准推荐

数据搜索

......

数据产品分类

营销类

征信类

媒体类

安全类

图标类

画像类

工具类

商业智能（BI）

应用领域

教育

医疗

运输

能源

金融

农业

......

数据服务

OLAP

基本概念

维度（Dimension）

维度层次（Level of Dimension）

维度成员（Member of Dimension）

度量（Measure）

操作

下探（Drill down）

上钻（Drill up）

切片（Slice）

切块（Dice）

旋转（Pivot）

分类

MOLAP（Multi-Dimension OLAP）

Cognos Powerplay

Oracle Database OLAP Option

MicroStrategy

Microsoft Analysis Services

Essbase

Kylin

Druid

ROLAP（Relational OLAP）

Vertica

Amazon Redshift

Google Dremel

Hulu Nesto

Presto

Impala

Clickhouse

Hive

Spark SQL

Flink SQL

Elasticsearch

Greenplum

Doris

HOLAP（Hybrid OLAP）

语法解析

数据处理

SqlLite

Groovy

Guava

Aviator

规则流程编排

Drools

Activiti

Tiny

Blockly

服务化

Dubbo

Hsf

Spring Boot

Spring Cloud

数据可视化

可视化基础

流程

通道

设计

可视化分析

交互技术

交互模式

常用图表

树状图

漏斗图

行为路径分析图

雷达图

箱线图

柱状图

折线图

饼图

......

常用框架

D3.js

Echarts

Highcharts

BonsaiJS

ArborJS

Springy.js

Raphael.js

常用配色

Fusion

FairyGUI

模板引擎

FreeMarker

Velocity

Thymeleaf

数据共享

系统集成

页面集成

区块集成

方式

文件

打印

截图

渠道

邮件

聊天工具

订阅推送

数据预警

调度

Quartz

Opencron

LTS

XXL-JOB

Elastic-job

规则引擎

Groovy

Aviator

Drools

数据预测

应用部署

容器化

Docker

K8S

国际化

自动化打包部署

Maven

Gradle

Jenkins

Web容器&代理服务器

Tomcat

Jetty

Nginx

 Collect

Get Started

知识体系脑图

 Collect

Get Started

Java技术知识体系

 Collect

Get Started

DAMA数据管理知识体系指南

 Collect

Get Started

前端技术知识体系





0 条评论

下一页