

首页  思维导图  详情



Spark高级数据分析

2021-04-20 18:26:00   0  举报





AI智能生成

spark高级数据分析，机器学习

人工智能

机器学习

大数据

系统架构图

模版推荐

作者其他创作

大纲/内容

PART1 大数据分析

应用举例

构建信用卡欺诈模型

产品推荐

评估金融风险

发现致病基因

数据科学的挑战

数据预处理

迭代的读取瓶颈

模型的完善与探索

ApacheSpark

线性拓展

容错性

DAG有向无环图

内存能力

支持Hadoop生态

数据格式

Avro

Parquet

NoSQL数据库

HBase

Cassandra

流式组件

Flume

Kafka

SQL库

Hive

Metastore

资源调度

YARN

其他引擎

MapReduce

Impala

PART2 用Scala和Spark进行数据分析

第一步：数据清洗

很重要的一步

科学家的scala

scala兼容java

spark使用scala写的

Spark编程模型

transformation

调用action

本地运行模式

本章案例

记录关联问题

同一个地点的不同表示形式

不同地点的相近表示形式

加州大学欧文分校机器学习资料库

数百万病人记录

数据结构

"id_1","id_2","cmp_fname_c1","cmp_fname_c2","cmp_lname_c1","cmp_lname_c2","cmp_sex","cmp_bd","cmp_bm","cmp_by","cmp_plz","is_match"

37291,53113, // 0.833333333333333,?,1,?,1,1,1,1,0, // TRUE

匹配的病人1，匹配的病人2，…中间的九位代表病人不同字段（姓名，生日，地址等）匹配的分值…，最后一位代表病人记录对是否匹配

SparkShell和SparkContext

hadoop fs

-mkdir

-put

textFile

parallelize

：help

：history

：paste

从集群获得数据

函数式编程

foreach（println）

def 函数名（参数：参数类型）：返回类型={ }

first

take

filter

saveAsTextFile

用元组和case calss对数据进行结构化

Array

array(0)

toInt toString toDouble

slice

Double.NaN

元组

(x1,x2)

_1 _2

case class

case class MatchData(id1:Int,id2:Int)

聚合

groupby

mapValues

创建直方图

countByValue

scala集合

list

set

map

toSeq

sortBy

reverse

array

连续变量的概要统计

得到分布的统计信息

stats方法

spark提供的一种简单的统计工具，结果是（总数，均值，标准差，最大值，最小值）

isNaN

创建可重用的代码

NAStatCounter

stats

new StatCounter() 数据分析类

missing

统计NaN的个数

def add(Double)

添加元素

def merge(NAStatCounter)

合并两个NAStatsCounter

map

or mapPartitions

reduce

变量的选择和评分简介

选取差异化较大的特征，根据这几个特征的评分的总和，设定阈值，根据阈值筛选

使用不同阈值，检测过滤效果

PART3 音乐推荐和Audioscrobbler数据集

音乐推荐

音乐推荐引擎

spark机器学习算法 MLlib

机器学习基本思想

3.1 数据集

播放次数比评分更能准确反映一个人的听歌习惯

user_artist_data_txt

记录了用户、艺术家、用户播放艺术家歌曲的信息（包括次数）

userid artistid playcount

artist_data.txt

记录了每个艺术家的ID和对应的名字

artistid artist_name

artist_alias.txt

记录拼写错误的艺术家的名字和正确的ID

badid, goodid

3.2 交替最小二乘法推荐算法

问题

稀疏数据集的推荐算法

概念

协同过滤算法

潜在因素模型

矩阵分解模型（矩阵补全算法）

原理

行：用户，列：艺术家，形成的大矩阵A，数据稀疏

转换为两个数据密集的小矩阵的乘积 A≈XYᵀ

将问题转换为用户-特征矩阵和特征-艺术家矩阵的乘积

因为数据的稀疏，通常XY是没有解的

想直接求X和Y的最优解也很难

算法

交替最小二乘算法

将Y初始化为随机行向量矩阵

由A和Y求出X的最优解

数据可并行化

目标是A和Y组成的方程和X 最小化平方误差

借助QR分解方法，由前一步的X计算出Y

重复前两步，反复交替，最终X和Y收敛到一个合适的结果

实现

SparkMLlib的ALS算法

优化，分解A为1和0组成的矩阵P

元素为正对应1，否则0

A的具体值在后面以权重形式体现

也可以利用数据稀疏的特点，用简单的线性代数运算求解

数据本身可以并行化

3.3 准备数据

3.4 准备第一个模型

3.5 逐个检查推荐结果

3.6 评价推荐质量

3.7 计算AUC

3.8 选择超参数

3.9 产生推荐

3.10 小结

PART4 用决策树算法预测森林植被

4.1 回归简介

趋均数回归现象

分类与回归

举例

分类：预测类别，例如是否为垃圾邮件

回归：预测数值型数量，例如大小、收入、温度

共同点

特征值 => 目标值

都通过一个或多个值预测另一个或多个值

区别

分类预测类别型目标

回归预测数值型目标

监督学习：需要告诉它们问题以及问题答案的学习方法

分类和回归的算法

支持向量机

logistics回归

朴素贝叶斯算法

神经网络

深度学习

决策树算法

随机决策森林算法

决策树应用

根据线上行为预测购买汽车的概率

根据用词预测是否是垃圾邮件

根据地理位置和土壤的化学成分预测哪块耕地产量更高

4.2 向量和特征

特征（维度、预测指标、变量）

数值型特征

可以用数值进行量化的特征，并且排序是有意义的

类别型特征

不是数字，没有顺序可言，只能在几个离散值中取一个

特征向量

五个特征值按顺序排列，用于描述每天的天气

格式化向量

稀疏向量

密集向量

4.3 样本训练

目标作为特征向量的一个附加特征

训练集

所有样本的集合

目标

回归：数值型

有的回归分类算法只能处理数值型特征

分类：类别型

4.4 决策树和决策森林

决策树算法

能自然地处理类别型和数值型特征

过度拟合现象

过于拟合训练样本，导致噪声过大，预测准确率降低

决策森林算法

4.5 Covtype数据集

科罗拉多州不同地块的植被类型

描述了土地的海拔、坡度、到水源的距离、遮阳情况、土壤类型等

总共54个特征，包含数值型特征和类别型特征

4.6 准备数据

读取数据

spark读取CSV文件

类别型特征的编码

one-hot（1-of-n）编码

一个有N个不同取值的类别特征，可以变成N个数值型的特征

每个特征取值0或1，有且只有一个特征取1，其余为0

另一种编码

为类别型特征的每个可能取值分配一个不同数值

例如：多云 1.0，有雨 2.0，晴朗 3.0

要小心类别特征被当做数值特征，1.0，2.0，3.0会被理解为权重

添加列名

读取为DataFrame数据，且加入列名

目标列一般为Double类型

4.7 第一课决策树

格式化训练集

输入必须是LabeledPoint对象格式

样本集

训练集 90%

训练集的10%为交叉检验集

测试集 10%

格式化为向量

所有输入合并成一列，该列的值为一个向量

构建模型

构建分类器

配置输入列列名和预测列列名

代码管道化

分类器类型

trainRegressor

trainClassifier

目标值为类别标号

BinaryClassificationMetrics

仅用于类别目标只有两种取值

生成模型

评估模型

目的

超参数

训练集和CV集用于选择合适值

测试集用于对模型期望准确度进行无偏估计

方法

评估输入特征的比重

数据评估

AUC指标

准确率

召回率

F1值

准确率*召回率*2/（准确率+召回率）

混淆矩阵

随机猜测的准确率

4.8 决策树的超参数

最大深度

限制决策树层数，防止过度拟合

最大桶数

决策规则的集合，桶越多，计算时间越多，决策可能更优

不纯性度量

Gini不纯度

全都一样，最纯的 0 -> 1 不同类别均相等，最不纯的

熵

不确定性小，混乱度小熵小 -> 熵大不确定性大，混乱大

最小信息增益

指一种超参数，会使最小信息增益，或最小不纯度降低

4.9 决策树调优

构建多种不同的参数组合，比较起准确率

构建管道

构建超参数的组合

构建管道

生成模型

评估模型

获得最佳模型的参数

获得每一种组合的参数和准确率

过度拟合问题：减小最大深度可改善

4.10 重谈类别性特征

用一个字段表示多个特征，优于one-hot方式

对类别型特征重新编码，更换one-hot方式

准确率提升了2%

4.11 随机决策森林

决策树是启发式策略，随即使用一部分数据集，以大幅提升计算速度

决策森林又许多决策树组成，具有随机性，有利于降噪

准确率又提升了2%

API几乎不变

并行化

4.12 进行预测

最优模型是包含了所有操作的整个管道

4.13 小结

如上

PART8 纽约出租车轨迹的空间和时间数据分析

8.1 数据的获取

数据结构：车牌号hash，司机驾驶好hash，开始时间，结束时间，上车经纬度，下车经纬度

8.2 框架选择：Spark

8.3 时间数据处理：JodaTime和NScalaTime

过程：从数据中格式化出时间-解析时间-计算时间段

java的SimpleDateFormat类格式化时间

DateTime类解析时间

import com.github.nscala.time.time.Imports._

Duration类计算时间段

8.4 地理空间数据处理

EsriGeometryAPI和Spray

地理数据分类

矢量

本章数据格式：GeoJSON

光栅

过程：解析GeoJSON数据-处理其空间关系

EsriGeometryAPI

Geometry核心数据类型

代表一个形状和它所在的地理位置

GeometryEngine助手类

它提供了执行所有空间关系操作的静态方法

contains方法

WKID 4326坐标系统（GPS采用的）

定义包装类RichGeometry

拓展EsriGeometry对象，并提供一些有用的辅助方法

定义伴生对象，将Geometry实例隐式转换为RichGeometry

import RichGeometry._

GeoJSON

表示纽约行政区域范围的数据格式

数据格式

FeatureCollection

Feature

properties

geometry

处理JSON对象的类Spray

toJson

将scala对象转换为JsValue

parseJson

将JSON格式转换为中间类型

converTo[T]

中间类型转换为Scala类型T

case class

case class FeatureCollection

extends IndexedSeq[Feature]

可使用map filter sortBy

case class Feature

properties

geometry

RichGeometry

定义RichGeometry Feature FeatureCollection与相应的JsValue实例相互转化的格式

RootJsonFormat[T]

8.5 出租车客运数据预处理

case calss Trip

SimpleDateFormat格式化时间数据

Point存放上下车的经纬度

parse方法将文本解析成Trip

非法记录的处理

safeParse函数

safe函数

Either类型

Left

Righe

filter

乘车时间为正

乘车时间小于三小时

地理空间分析

加载纽约行政区域文件

scala.io.Source.fromFile()

解析

geojson.parseJson.convertTo[FeatureCollection]

排序

对特征排序，区域大的排在前面

广播

广播字典文件 sc.broadcast(areaSortedFeatures)

函数

判断trip的点落在哪行政区域的函数

得到数据

从结果中过滤掉终点为null的数据

会话分析

构建会话：二级排序

repartitionAndSortWithinPartitions

 Collect

Get Started

小白入门数据分析学习计划

 Collect

Get Started

Spark stack

 Collect

Get Started

数据分析

 Collect

Get Started

济宁能源数据分析流程设计





0 条评论

下一页