概览
基本知识
机器学习是从数据中学习和提取有用的信息（规律和规模），不断提升机器的性能
误差
（训练集）经验误差/训练误差
（新样本/测试集）泛化误差
偏差
度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差
度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声
表达了在当前任务上任何学习算法所能达到的预期泛化误差的下界，刻画了学习问题本身的难度
模型评估方法
留出法
划分训练集、测试集且互斥,若干次随机划分重复试验
常将大约2/3~4/5的样本用于训练，剩余样本用于测试
交叉验证法(A/B Test)
划分与数据集分布一致的K个子集
K组训练/测试集，交叉验证
调参与最终模型
算法
监督学习(Supervised Learning)
分类（Classification）
回归（Regression）
无监督学习(Unsupervised Learning)
聚类（Clustering）
半监督学习(Semi-Supervised Learning)
强化学习(Reinforcement Learning)
深度学习(Deep Learning)
迁移学习(Transfer Learning)
其他
集成学习
Boosting
XgBoost
AdaBoost
GBDT
累加所有树的结果
利用损失函数的负梯度去拟合(替代)残差，求一阶导
降维（无监督学习）
因子分析
多维尺度（Multi-Dimensional Scaling, MDS）
线性
主成分分析(PCA)
主成分回归(PCR)
SVD
深度学习
堆栈式自动编码器（Stacked Auto-encoders）
受限波尔兹曼机（Restricted Boltzmann Machine， RBN）
多层神经网络
深度卷积网络（Deep Convolutional Neural Network）
深度信念网络Deep Belief Networks（DBN）
