大数据技术体系
2023-12-18 14:29:07 0 举报AI智能生成
登录查看完整内容
大数据理论概览
作者其他创作
大纲/内容
数据已经从GP到PB演变，数据量大
Round Rabin
Virtual Buckets(虚拟桶）
Consistent Hashing(一致性哈希）
Hash Partion(哈希分片)
Range Partion(范围分片）
数据分片路由
多副本数据复制和一致性保证
场景
CAP
ACID
BASE
理论支持
主从更新
同步更新
任意结点更新
副本更新策略
强一致性
最终一致性
因果一致性
会话一致性
单调读一致性
单调写一致性
一致性模型
两阶段提交协议
向量时钟
RWN协议
Paxos协议
Raft协议
Gossip协议
一致性协议
数据复制&数据一致性
SkipList
Bitmap
LSM树
Snappy
LZSS
Cuckoo哈希
Mekle哈希
Bloomfilter
Trie树
大数据常用算法和数据结构
理论基础
浏览器打点
app/小程序打点
服务器端打点
埋点
Chukwa
Splunk Forawarder
Flume
Fluentd
Logstash
Scibe
框架
系统日志/用户行为日志
文本/视频/图片等数据
用户/商户非敏感数据
内容
爬虫
对方open Api
方式
Nutch
Heritrix
Scrapy
WebCollector
爬虫技术
外部网络数据
网络设备数据
传感器/探针等
网络数据
数据采集
Kafka
RocketMQ
ActiveMQ
RabbitMQ
Apollo
消息队列
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Sqoop
DataX 是一个异构数据源离线同步工具。致力于实现包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX
数据库同步备份工具支持异构数据库之间同步
Dbsync
允许管理来自不同数据库的数据，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据
Kettle
数据同步
阿里云DTS
Otter
淘宝Time Tunnel
Databus
WormHole
基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
Canal
数据订阅
JSON
Hessian
Protobuf
Avro
MessagePack
Kyro
FST
序列化
数据传输
数据清洗
DMP
CDP
数据归一化处理
DAS
NAS
SAN
网络架构
FTP、NFS服务器等
NAS(Network Addapter Storage）
文件
磁盘阵列-RAID
DAS(Direct Attach Storage)
SAN(Storage Area Network)
块
对象
底层存储类型
物理存储
DRDS
TiDB
GreenPlum
Cobar
Aurora
Mycat
分布式关系型数据库
HDFS
OpenStack
SwiftCeph
GlusterFS
Lustre
AFS
OSS
分布式文件/对象存储
Kylin
AnalyticDB
Druid
Clickhouse
Vertica
MonetDB
InfiniDB
子主题
分析型数据库
Redis
Memcached
Tair
KV数据库
Titan
Neo4J
ArangoDB
OrientDB
MapGraph
ALLEGROGRAPH
图数据库
Phoenix
Cassandra
Hbase
Kudu
Hypertable
列存储数据库
MongoDb
CouchDB
MarkLogic
文档型数据库
Elasticsearch
Solr
OpenSearch
搜索引擎
逻辑存储
数据存储
Storm
Flink
Yahoo S4
Kafka Stream
Twitter Heron
Apache Samza
Spark Streaming
流式计算（Streaming compute）
Tez
MapReduce
Hive
Spark
Pig
大数据的编程模型Apache Beam
大规模批量计算（batch compute）
Impala
Hawq
Dremel
Drill
Tajo
Presto
Hortonworks Stinger
即席查询分析(ad-hoc query)
Lambda架构
Kappa架构
IOTA架构
系统架构
Microsoft Kineograph
Galaxy
Google Percolator
全量计算&增量计算
GAS编程模型
BSP模型
节点为中心编程模型
计算范型
基础知识
Pregel
GraphChi
Spark GraphX
PowerGrah
Apache Giraph
Apache Hama
框架工具
图计算
计算模型
Chubby
阿里Diamond
阿里ConfigServer
zookeeper
Eureka
Consul
分布式协调系统
Omega
Brog
Mesos
Corona
Yarn
Torca
管理调度框架
Ambari
Hue
管理和监控工具
集群资源管理和调度
Oozie
Azkaban
Luigi
Airflow
工作流管理引擎
工具框架
数据计算
基本概念和原理
体系结构
数据建模
数据仓库设计
数据仓库
基本概念
分类聚类
预测&回归
时间序列分析
关联规则&偏差检测
…………
通用的数据挖掘方法
主成分分析
因子分析
统计分析
决策树
贝叶斯
遗传算法
机器学习
卷积神经网络
RBN
DBN
深度学习
方法分类
Mohout
Spark Mlib
Tensorflow
PAI
平台
数据分析挖掘
大数据基准测试
Bigtop
数据测试
一切数据皆资产
一切数据皆保留
数据湖
数据资产
平台工具
数据组织集成
大数据商业价值
数据产品分类
BI
应用领域
数据链接
OLAP
语法解析
SqlLite
Groovy
Aviator
Guava
数据处理
Drools
Activiti
Tiny
Blockly
规则流编排
dubbo
hsf
Spring Boot
Spring Cloud
服务化
Sentinel
Hystrix
限流降级
数据服务
可视化流程
可视化通道
可视化设计
数据可视化基础
科学可视化
信息可视化
交互技术
交互模式
可视化分析
常用图标分类
G2
Raphael图例库
D3.js
Bonsaijs
arborjs
Springy
Raw
Echart
可视化框架
Fusion
FairyUI
常用调色板
模板引擎
数据可视化
页面集成
区块集成
API集成
系统集成
打印
截图
钉钉
邮件
分享渠道
数据共享
Quartz
opencron
LTS
xx-job
Elastic-job
调度
drools
规则引擎脚本
预测
数据预警
docker
k8s
PouchContainer
容器化
国际化
maven
gradle
sonar
jekins
打包集成
Tomcat
Jetty
ngix
web 容器&服务器
应用部署
数据应用
ISO38500IT治理框架
DAMA理论
DGI理论
IBM数据治理理论
ISACA COBIT5
国际数据治理理论
原则
战略&组织
数据质量
数据生命周期
数据架构
数据安全
大数据服务创新
范围
成熟度评估
审计
？？
实施评估
数据治理框架
数据治理相关概念
数据规范标准
元数据采集和存储
元数据查询分析
血缘分析
生命周期管理
业务属性管理
一致性检测监控
专题管理
Cloudrea Navigator
公共仓库元模型（CWM)
HCatalog
Apache Atlas
WhereHows
亿信华辰FsPowerMeta
元数据管理
策略
控制目标
职责角色
流程方法
支撑保障
质量管理参考框架
实施方法
常用工具方法
主数据管理
大数据架构管理
数据应用治理
VPN
SSL&https
数字签名
数据加密
数据采集传输安全
数据脱敏
数据匿名保护
备份恢复
数据存储安全
Kerberos
身份验证
自主访问控制（DAC)
强制访问控制(MAC)
角色访问控制(RBAC)
Sentry
Ranger
访问控制（IAM）
DCAP(Data Centric Audit and Protection
DLP(Data Leakage Prevention)
DSG & DSMM(数据安全成熟度模型）
UEBA(用户与实体行为分析）
数据安全治理
数据管理安全
数据防爬
数据水印
数据审计
可信计算技术
数据溯源
数据应用安全
APache Faclon
亿信睿治数据治理平台
华为数据治理
普元大数据治理解决方案
业界框架产品
数据治理
大数据技术体系
0 条评论
回复 删除
下一页
