大数据相关技术栈数据组件全景图
2022-02-28 16:20:55 18 举报AI智能生成
框架： hadoop相关 spark相关 flink相关 资源调度：yarn olap相关：kylin 查询与数据流QUERY / DATA FLOW： hadoop系列:hive spark系列： spark sql flink系列：flink sql 数据访问和数据库 DATA ACCESS & DATABASES ： Cassandra ： mongodb： 非结构化数据库 habse：构建在hadoop框架之上，列式存储 druid: 多维分析 数据同步： Flume 、sqoop 调度： 任务调度：oozie 、airflow 节点调度：zookeeper 资源调度：mesos
作者其他创作
大纲/内容
流与消息
流式计算： spark streaming /flink streaming 国内阿里主导，flink用的更多<br>消息中间件： kafka 、rocketmq<br><br>
统计工具和语言
Sql<br>python<br>scala<br>
AI平台
子主题<br>
AI / 机器学习/ 深度学习
子主题<br>
日志与监控
elk组合： logstach 日志同步、 elasticsearch 存储和搜索 、kibana 界面查询<br>
协作
子主题<br>
框架 FREAMEWORKS
hadoop相关<br>spark相关<br>flink相关<br>资源调度：yarn<br>olap相关：kylin<br><br>
查询与数据流QUERY / DATA FLOW
hadoop系列:hive<br>spark系列： spark sql<br>flink系列：flink sql<br>
数据访问和数据库 DATA ACCESS & DATABASES
Cassandra ：<br>mongodb： 非结构化数据库<br>habse：构建在hadoop框架之上，列式存储<br>druid: 多维分析<br>数据同步： Flume 、sqoop<br>
调度
任务调度：oozie 、airflow<br>节点调度：zookeeper<br>资源调度：mesos<br>
搜索
子主题<br>
可视化
子主题<br>
安全
数据权限：Apache ranger <br>分库分表分列分人权限： sentry<br>
收藏
0 条评论
下一页
