spark基本工作原理

节点5，处理后的数据存在内存中

spark和mapreduce最大的不同在于，迭代式计算模型，mapreduce，分为两个阶段，两个阶段玩了，就结束啦，所以我们在一个job能做的处理有限，只能在map和reduce里处理spark，计算模型，可以分为n个阶段，因为他是内存迭代式的，我们在处理完一个阶段以后，可以继续往下处理很多个阶段，

读取数据，90w条

节点4，处理后的数据存在内存中

节点1，在内存中存档30w条

节点2，在内存中存档30w条

mysql，hbase

直接返回到客户端（运行spark的机器和程序）

提交到spark集群

spark集群

hadoop的hive和hdfs

节点8

节点9

hdfs，hive，hadoop

所有计算操作，都是针对多个节点上的数据，进行并行计算操作的

节点7

client

节点6，处理后的数据存在内存中

节点3，在内存中存档30w条