Spark学习
2015-12-22 10:32:03 0 举报
AI智能生成
登录查看完整内容
为你推荐
查看更多
Spark学习是一种基于Apache Spark的大数据处理技术的学习过程。Apache Spark是一个开源的大数据处理框架,它提供了丰富的API和工具,可以用于处理大规模的数据集。Spark学习包括了对Spark的基本概念、架构和组件的理解,以及对Spark编程模型和数据处理算法的掌握。通过学习Spark,你可以学会如何使用Spark进行批处理、流处理和机器学习等任务,从而提高你的数据分析和处理能力。总之,Spark学习是一项非常有价值的技能,它可以帮助你在大数据领域取得更大的成就。
作者其他创作
大纲/内容
Spark学习笔记
对象之间转换
sc. parallelize(Seq[T])
collect转成RDD的方法
scala的collect必须都需要转成Seq
obj.toList
sc.textFile(path: String)
从文件中读取数据到RDD
rowRDD转成DataFrame
doc
rdd.toDF(\"id\
import sqlContext.implicits._
df.rdd
lazy val rdd: RDD[Row]
把DataFrame转成RDD
sc.parallelize(Iterable.toSeq)
Iterable类型转成rdd
例如:通过groupBy生成的数据
0 条评论
回复 删除
下一页