

首页  思维导图  详情



大数据前世今生-Hadoop

2021-03-28 23:58:32   20  举报





AI智能生成

描述大数据的前世今生。

大数据

Hadoop

flink

路线

模版推荐

作者其他创作

大纲/内容

2002

Apache Lucene

Apache Nutch

2003

10月

分支主题

GFS

2004

10月

分支主题

MapReduce

2006

1月

Doug Cutting 加盟

2月

分支主题

3月

第一个Hadoop集群

5月

Hadoop集群500节点

2006

11月

分支主题

BigTable

2007

开始使用Hadoop做离线处理

2008

开始投入研究基于Hadoop的系统云梯

分支主题

2008

商用公司

2009

Doug Cutting 加盟Cloudera

CDH

2010

5月

Apache HBase

NoSQL

HBase是Google Bigtable的开源实现

6月

Apache Pig

分支主题

Yahoo一些人觉得Map-Reduce大数据编程太过麻烦，便开发了 Pig。Pig 是一种脚本语言，使用类 SQL 的语法，开发者可以用 Pig 脚本描述要对大数据集上进行的操作，Pig 经过编译后会生成 MapReduce 程序，然后在 Hadoop 上运行。

2011

Apache Hive

编写 Pig 脚本虽然比直接 MapReduce 编程容易，但是依然需要学习新的脚本语法。于是 Facebook 又发布了 Hive。Hive 支持使用 SQL 语法来进行大数据计算，比如说你可以写个 Select 语句进行数据查询，然后 Hive 会把 SQL 语句转化成 MapReduce 的计算程序。

Apache Cassandra

NoSQL

开源分布式NoSQL数据库系统

Apache Flume

分支主题

分布式的海量日志采集

Apache Sqoop

Hadoop和关系型数据库中的数据相互转移的工具

分支主题

Apache Oozie

MapReduce 工作流调度引擎

Apache ZooKeeper