机器学习

数据比算法更重要

数据挖掘

1.获取数据

2.数据预处理

从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程

目的：让数据适应模型，匹配模型的需求

 数据无量纲化

可以是线性，和非线性

中心化处理

本质：让所有记录减去一个固定值，既让数据样本数据平移到某个位置

缩放处理

本质：通过除以一个固定值，将数据固定在某个范围之中，取对数也是一种缩放处理

特征工程

提取特征及创造特征。创造特征经常用降维算法

数据清洗

pandas

机器学习

DecisionTreeClassifier

重要参数

criterion 是用来决定不纯度的计算方法的。

画树

graphviz

feature_importances_

剪枝

max_depth

min_samples_leaf & min_samples_split

max_feature&min_impurity_decrease

max_feature限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃

min_impurity_derease限制信息增益的大小，设置信息增益小于设定值则分枝不会发生（0.19版本之前使用）

用超参数曲线来判断每个参数填写什么值，超参数用来衡量不同超参数取值下模型的表现的线

接口

apply  clf.apply(Xtest)

predict  clf.predict(Xtest))

核心问题

1.如何找出正确的特征来进行提问

每次分枝时，对所有特征进行不纯度计算，选取不纯度最低的特征进行分枝

分类树不纯度用gini和信息熵来衡量

回归树用MSE均方误差来衡量

2.树生长到什么时候停下

集成算法

算法

装袋法（Bagging）

核心：构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果

代表模型：随机森林

n_estimators:基评估器的数量，值越大，模型的效果往往越好。到达一定程度不再增加 （越大需要的计算量和内存越大 ）

提升法（Boosting）

基评估器是相关的，是按顺序一一构建的，每次预测完评估对预测错误的样本增加权重，增强学习

代表模型：Adaboost、梯度提升树

stacking

调参

第一步，找目标  比如对随机森林来说，提升模型在未知数据上的准确率

第二步，思考 模型在未知数据上的准确率受什么因素影响

一般根据数据大小进行试探，小数据一般使用1~20，大数据一般尝试30~50 甚至更多更应该画出学习曲线，来观察深度对魔性的影响