大数据前世今生-Hadoop

大数据前世今生

2002

Apache Lucene

Apache Nutch

2003

10月

分支主题

GFS

2004

MapReduce

2006

1月

Doug Cutting 加盟

2月

3月

第一个Hadoop集群

5月

Hadoop集群500节点

11月

BigTable

2007

开始使用Hadoop做离线处理

2008

开始投入研究基于Hadoop的系统云梯

商用公司

2009

Doug Cutting 加盟Cloudera

CDH

2010

Apache HBase

NoSQL

HBase是Google Bigtable的开源实现

6月

Apache Pig

Yahoo一些人觉得Map-Reduce大数据编程太过麻烦，便开发了 Pig。Pig 是一种脚本语言，使用类 SQL 的语法，开发者可以用 Pig 脚本描述要对大数据集上进行的操作，Pig 经过编译后会生成 MapReduce 程序，然后在 Hadoop 上运行。

2011

Apache Hive

编写 Pig 脚本虽然比直接 MapReduce 编程容易，但是依然需要学习新的脚本语法。于是 Facebook 又发布了 Hive。Hive 支持使用 SQL 语法来进行大数据计算，比如说你可以写个 Select 语句进行数据查询，然后 Hive 会把 SQL 语句转化成 MapReduce 的计算程序。

Apache Cassandra

开源分布式NoSQL数据库系统

Apache Flume

分布式的海量日志采集

Apache Sqoop

Hadoop和关系型数据库中的数据相互转移的工具

Apache Oozie

MapReduce 工作流调度引擎

Apache ZooKeeper

分布式应用程序协调服务

Ambari HDP HDF

web管理工具

2012

Yarn

资源调度系统

Apache Storm

流计算框架

Apache Kafka

Apache Spark

Apache Spark Streaming

2015

Apache Flink

德国柏林工业大学

2018

两家公司合并

CLOUDERA DATA PLATFORM

主题

Doug Cutting

“Hadoop80%源码贡献者”