大数据 big data
2022-06-07 19:19:04 1 举报AI智能生成
大数据技术
作者其他创作
大纲/内容
1：大数据行业与技术趋势
1：大数据时代
1：大数据的定义
1：体量巨大 Volume
2：类型繁多 Variety
1：结构化数据
2：非结构化数据
3：半结构化数据
3：处理速度快 Velocity
4：价值密度低 Value
2：大数据分析与传统数据分析
1：数据角度
1：结构化数据
2：非结构化数据
3：半结构化数据
2：处理架构角度
1：扩展性
1：传统数据分析以纵向扩展为主(Scale-up)
2:大数据分析以横向扩展为主（Scale-out）
2：分布式
1：分布式计算系统
2：分布式文件系统
1：元数据管理
2：系统高扩展性技术
3：存储层级内的优化技术
4：针对应用和负载的存储话技术
3：分布式数据库系统
3：数据处理角度
1：数据采集ETL
2：数据清洗、预处理与存储
3：数据分析与挖掘
4：结果可视化
3：大数据时代已经到来
2：大数据应用领域
1：零售
2：教育
3：交通
4：医疗
5：金融
3：大数据时代企业面临的挑战和机遇
1：挑战
1：业务部门无清晰的大数据需求
2：企业内部数据”孤岛“严重
3：数据可用性低。质量差
4：数据相关管理技术和架构
5：数据安全
6：大数据人才缺乏
7：数据开放与隐私的权衡
2：机遇
1：数据分析成为大数据技术的核心
2：广泛采用实时性的数据处理方式
3：基于云的数据分析平台将更加完善
4：开源软件将会成为推动大数据发展的新动力
4：大数据代表技术和解决方案
1：代表技术
1：HDFS
2:MapReduce
3:HBase
4:ZooKeeper
5:Hive
6:Pig
7:Sqoop
8:Flume
9:Mahout
10:Oozie
11:YARN
12:Mesos
13:Tachyon
14:Tez
15:Spark
16:Giraph
17:MLlib
18:Spark Streaming
19:Spark SQL
20:Kafka
21:Phoenix
22:Kylin+Druid
23:Superset
24:Storm
2：解决方案
1:Cloudera
2:Hortonworks
3:MapR
4:FusionInsight
2：分布式文件系统
Subtopic
Subtopic
3：Hive分布式数据仓库
Subtopic
Subtopic
收藏
0 条评论
下一页
