登录免费注册



SPARK

首页  思维导图  详情



SPARK

2020-05-28 13:49:11   0  举报





AI智能生成

spark学习脑图

大数据计算

spark

模版推荐

作者其他创作

大纲/内容

运行部署

pyspark

spark-submit

master：指定集群管理器

local：本地

spark://master

yarn

mesos

kubernetes

deploy-mode：指定发布方式

driver-memory：驱动器内存

executor-memory：执行器内存

executor-cores：执行器处理器个数

conf：运行参数，比如python版本

main函数入口

RDD<br>

弹性分布式数据集

分布式元素集合

多个分区

创建RDD

读取外部数据集

本地文件

hdfs

其他分布式文件系统

集合序列化

parallelize()

lazy

类型操作

transformations（转化）

create a new dataset from an existing one

常用操作

map()

函数返回结果作为结果RDD中对应元素的值

filter()

函数该函数的元素放入新的RDD中

flatmap()

输入元素生成多个输出元素

使用比如，分句、分词

伪集合操作

distinct()

union()

intersection()

subtract()

actions（行动）

return a value to the driver program after running a computation on the dataset

常规操作

count()

first()

reduce()

操作两个相同元素返回一个同样类型的元素

collect()

获取整个RDD的数据

必须在本机的内存足够容纳才可以使用

每调用一个新的行动操作RDD会从头开始计算

需要避免这种低效行为

内存持久化

persist()

传递函数

不要传递带字段引用的函数

比如，self.xx

分区

减少节点间通信造成的损耗

将一起访问的数据放到同一个节点上

提供分区方式

HashPartitioner

RangeParititioner

自定义分区方式

partitionBy()

运行时架构

驱动器

执行main方法

1.创建SparkContext

2.创建RDD

3.RDD转化和行动的代码

把用户程序转化为任务

DAG：有向无环图

步骤1

任务1

spark最小的工作单元

任务2

任务...

步骤...

物理执行计划

为执行器节点调度任务

执行器

运行组成spark应用

要求缓存的RDD提供内存式存储

 Collect

Get Started

Spark大数据框架

 Collect

Get Started

Spark主要组件

 Collect

Get Started

Spark

 Collect

Get Started

Spark基础













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document